Nova Lite
Nova Lite est un LLM propriétaire lancé par Amazon le 20 novembre 2024. Près de deux ans après sa sortie, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont probablement dépassées et dont les modèles sont souvent retirés des catalogues.
Nova Lite est un LLM propriétaire lancé par Amazon le 20 novembre 2024. Près de deux ans après sa sortie, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont probablement dépassées et dont les modèles sont souvent retirés des catalogues.
Son positionnement repose surtout sur un coût très bas et une fenêtre de contexte de 300 000 tokens. Facturé 97% sous la moyenne des LLM similaires, il affiche un écart tarifaire considérable avec les modèles frontière, tandis que ses poids restent fermés.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Amazon |
| Poids | 🔒 Propriétaire |
| Date de sortie | 20 novembre 2024 |
| Multimodal | oui |
| Fenêtre de contexte | 300 000 tokens |
| Modalités (entrée → sortie) | text,image → text |
Indices de synthèse
| Indice | Valeur | Rang (LLM) |
|---|---|---|
| Intelligence Index | 6.9 | 134ᵉ / 137 |
| Math Index | 7.0 | 51ᵉ / 54 |
Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| GSM8k | 94,5 % | 14ᵉ / 47 | llm-stats | Auto-déclaré |
| ARC-C | 92,4 % | 8ᵉ / 34 | llm-stats | Auto-déclaré |
| DocVQA | 92,4 % | 16ᵉ / 26 | llm-stats | Auto-déclaré |
| IFEval | 89,7 % | 19ᵉ / 65 | llm-stats | Auto-déclaré |
| Translation en→Set1 COMET22 | 88,8 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| Translation Set1→en COMET22 | 88,8 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| ChartQA | 86,8 % | 10ᵉ / 24 | llm-stats | Auto-déclaré |
| HumanEval | 85,4 % | 33ᵉ / 65 | llm-stats | Auto-déclaré |
| BBH | 82,4 % | 6ᵉ / 12 | llm-stats | Auto-déclaré |
| MMLU | 80,5 % | 56ᵉ / 98 | llm-stats | Auto-déclaré |
| DROP | 80,2 % | 11ᵉ / 29 | llm-stats | Auto-déclaré |
| TextVQA | 80,2 % | 8ᵉ / 15 | llm-stats | Auto-déclaré |
| FinQA | 73,6 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| MATH | 73,3 % | 31ᵉ / 70 | llm-stats | Auto-déclaré |
| EgoSchema | 71,4 % | 6ᵉ / 9 | llm-stats | Auto-déclaré |
| BFCL | 66,6 % | 9ᵉ / 11 | llm-stats | Auto-déclaré |
| MM-Mind2Web | 60,7 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| MMMU | 56,2 % | 48ᵉ / 61 | llm-stats | Auto-déclaré |
| CRAG | 43,8 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| Translation Set1→en spBleu | 43,1 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| GPQA | 42,0 % | 185ᵉ / 219 | llm-stats | Auto-déclaré |
| Translation en→Set1 spBleu | 41,5 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| LVBench | 40,4 % | 23ᵉ / 23 | llm-stats | Auto-déclaré |
| SQuALITY | 19,2 % | 4ᵉ / 5 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
Intelligence Index
Math Index
Notre analyse
Forces. À sa sortie, Nova Lite se situait dans le top 56% des 43 LLM de sa génération sur GPQA, soit une position intermédiaire parmi les modèles commercialisés au cours des 18 mois précédents. Sa principale force reste toutefois économique : ses tarifs sont 97% inférieurs à la moyenne des LLM similaires et environ 91,7 fois plus bas que ceux des modèles frontière. Sa fenêtre de 300 000 tokens constitue également une caractéristique notable, en autorisant le traitement d’entrées volumineuses dans les limites de ce contexte.
Limites et points d’attention. Les évaluations disponibles placent Nova Lite presque en fin de classement sur l’Intelligence Index et sur le Math Index. Ces résultats indiquent des performances faibles face aux autres modèles couverts par ces indices, y compris pour les tâches mathématiques. Son classement historique sur GPQA montre aussi qu’il n’appartenait pas au haut du panier dès son lancement. Près de deux ans constituent une ancienneté très importante dans ce secteur : le modèle est probablement largement dépassé par des générations plus récentes et peut avoir été retiré du catalogue de l’éditeur. Sa licence propriétaire exclut enfin l’accès aux poids.
Sources des données : LLM-Stats (llm-stats.com) · Artificial Analysis (artificialanalysis.ai).