Nova Pro
Nova Pro est un LLM propriétaire d’Amazon, sorti le 20 novembre 2024. Avec environ deux ans d’ancienneté, il appartient déjà à une génération très ancienne à l’échelle de l’IA, aujourd’hui probablement dépassée et souvent retirée des catalogues.
Nova Pro est un LLM propriétaire d’Amazon, sorti le 20 novembre 2024. Avec environ deux ans d’ancienneté, il appartient déjà à une génération très ancienne à l’échelle de l’IA, aujourd’hui probablement dépassée et souvent retirée des catalogues.
Son positionnement repose surtout sur une fenêtre de contexte de 300 000 tokens et un tarif très économique. Ses poids ne sont pas ouverts. À sa sortie, Nova Pro se situait dans le top 47% des LLM de sa génération sur GPQA, soit dans la première moitié sans appartenir aux modèles les plus performants de son époque.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Amazon |
| Poids | 🔒 Propriétaire |
| Date de sortie | 20 novembre 2024 |
| Multimodal | oui |
| Fenêtre de contexte | 300 000 tokens |
| Modalités (entrée → sortie) | text,image → text |
Indices de synthèse
| Indice | Valeur | Rang (LLM) |
|---|---|---|
| Intelligence Index | 7.7 | 132ᵉ / 137 |
| Math Index | 7.0 | 51ᵉ / 54 |
Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 94,8 % | 4ᵉ / 34 | llm-stats | Auto-déclaré |
| GSM8k | 94,8 % | 12ᵉ / 47 | llm-stats | Auto-déclaré |
| DocVQA | 93,5 % | 10ᵉ / 26 | llm-stats | Auto-déclaré |
| IFEval | 92,1 % | 9ᵉ / 65 | llm-stats | Auto-déclaré |
| ChartQA | 89,2 % | 4ᵉ / 24 | llm-stats | Auto-déclaré |
| Translation en→Set1 COMET22 | 89,1 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| HumanEval | 89,0 % | 15ᵉ / 65 | llm-stats | Auto-déclaré |
| Translation Set1→en COMET22 | 89,0 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| BBH | 86,9 % | 3ᵉ / 12 | llm-stats | Auto-déclaré |
| MMLU | 85,9 % | 33ᵉ / 98 | llm-stats | Auto-déclaré |
| DROP | 85,4 % | 5ᵉ / 29 | llm-stats | Auto-déclaré |
| TextVQA | 81,5 % | 6ᵉ / 15 | llm-stats | Auto-déclaré |
| FinQA | 77,2 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| MATH | 76,6 % | 24ᵉ / 70 | llm-stats | Auto-déclaré |
| EgoSchema | 72,1 % | 4ᵉ / 9 | llm-stats | Auto-déclaré |
| BFCL | 68,4 % | 8ᵉ / 11 | llm-stats | Auto-déclaré |
| MM-Mind2Web | 63,7 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| MMMU | 61,7 % | 41ᵉ / 61 | llm-stats | Auto-déclaré |
| CRAG | 50,3 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| GPQA | 46,9 % | 171ᵉ / 219 | llm-stats | Auto-déclaré |
| Translation Set1→en spBleu | 44,4 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| Translation en→Set1 spBleu | 43,4 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| LVBench | 41,6 % | 22ᵉ / 23 | llm-stats | Auto-déclaré |
| SQuALITY | 19,8 % | 3ᵉ / 5 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
Intelligence Index
Math Index
Notre analyse
Forces. Nova Pro se distingue principalement par son rapport entre capacité de contexte et coût. Sa fenêtre de 300 000 tokens autorise le traitement de volumes importants dans une même requête. Sa tarification est inférieure de 60% à la moyenne des LLM similaires et environ 6,9 fois moins élevée que celle des modèles frontière. À son lancement, son résultat sur GPQA le plaçait dans la première moitié des 43 LLM de sa génération, un niveau honorable sans domination nette.
Limites et points d’attention. Les évaluations disponibles situent désormais Nova Pro presque en bas du classement général de l’Intelligence Index. Le Math Index confirme une faiblesse marquée en mathématiques, avec un positionnement parmi les derniers modèles évalués. Ces résultats, établis par deux sources concordantes, indiquent des performances aujourd’hui largement dépassées. Son ancienneté est également importante dans un secteur qui évolue rapidement, les modèles de cette période étant souvent retirés du catalogue de leur éditeur. Enfin, sa licence propriétaire exclut l’accès aux poids, ce qui limite les possibilités de déploiement indépendant et de modification du modèle.
Sources des données : LLM-Stats (llm-stats.com) · Artificial Analysis (artificialanalysis.ai).