Nova Micro
Nova Micro est un LLM propriétaire lancé par Amazon le 20 novembre 2024. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont largement dépassées par celles des modèles plus récents.
Nova Micro est un LLM propriétaire lancé par Amazon le 20 novembre 2024. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont largement dépassées par celles des modèles plus récents.
Son positionnement repose avant tout sur un coût très bas et une fenêtre de contexte de 128 000 tokens. À sa sortie, Nova Micro figurait dans les 67 % les mieux classés de sa génération sur GPQA. Ses poids ne sont pas ouverts.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Amazon |
| Poids | 🔒 Propriétaire |
| Date de sortie | 20 novembre 2024 |
| Multimodal | non |
| Fenêtre de contexte | 128 000 tokens |
| Modalités (entrée → sortie) | text → text |
Indices de synthèse
| Indice | Valeur | Rang (LLM) |
|---|---|---|
| Intelligence Index | 4.7 | 137ᵉ / 137 |
| Math Index | 6.0 | 53ᵉ / 54 |
Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| GSM8k | 92,3 % | 18ᵉ / 47 | llm-stats | Auto-déclaré |
| ARC-C | 90,2 % | 11ᵉ / 34 | llm-stats | Auto-déclaré |
| Translation Set1→en COMET22 | 88,7 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| Translation en→Set1 COMET22 | 88,5 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| IFEval | 87,2 % | 34ᵉ / 65 | llm-stats | Auto-déclaré |
| HumanEval | 81,1 % | 42ᵉ / 65 | llm-stats | Auto-déclaré |
| BBH | 79,5 % | 9ᵉ / 12 | llm-stats | Auto-déclaré |
| DROP | 79,3 % | 14ᵉ / 29 | llm-stats | Auto-déclaré |
| MMLU | 77,6 % | 69ᵉ / 98 | llm-stats | Auto-déclaré |
| MATH | 69,3 % | 41ᵉ / 70 | llm-stats | Auto-déclaré |
| FinQA | 65,2 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| BFCL | 56,2 % | 11ᵉ / 11 | llm-stats | Auto-déclaré |
| CRAG | 43,1 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| Translation Set1→en spBleu | 42,6 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| Translation en→Set1 spBleu | 40,2 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| GPQA | 40,0 % | 192ᵉ / 219 | llm-stats | Auto-déclaré |
| SQuALITY | 18,8 % | 5ᵉ / 5 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
Intelligence Index
Math Index
Notre analyse
Forces. Nova Micro se distingue principalement par son économie d’usage. Sa tarification se situe 98 % sous la moyenne des LLM similaires et environ 157.1 fois sous celle des modèles frontière, ce qui constituait un positionnement particulièrement agressif. Sa fenêtre de 128 000 tokens autorise le traitement d’entrées volumineuses. À son lancement, son résultat sur GPQA le plaçait dans les 67 % les mieux classés parmi 43 LLM contemporains, sans toutefois le situer dans le haut du panier.
Limites et points d’attention. Les indicateurs disponibles révèlent des performances très faibles : Nova Micro occupe la dernière place de l’Intelligence Index et l’avant-dernière du Math Index. Son faible prix correspond donc à un niveau de capacité nettement inférieur à celui des modèles plus performants. Son ancienneté renforce cet écart, près de deux ans représentant une durée très longue dans ce secteur. Les modèles de cette période sont aussi fréquemment retirés des catalogues des éditeurs, ce qui réduit leur pertinence pour de nouveaux déploiements.
Sources des données : LLM-Stats (llm-stats.com) · Artificial Analysis (artificialanalysis.ai).