nova-micro-v1
nova-micro-v1 est un LLM propriétaire d’Amazon. Son profil Benchable apparaît contrasté : les scores bruts sont élevés en Ethics, General Knowledge et Hallucinations, mais les classements correspondants restent en retrait.
nova-micro-v1 est un LLM propriétaire d’Amazon. Son profil Benchable apparaît contrasté : les scores bruts sont élevés en Ethics, General Knowledge et Hallucinations, mais les classements correspondants restent en retrait.
Hallucinations constitue son résultat relatif le plus favorable, sans placer le modèle dans le haut du tableau. Mathematics forme sa faiblesse la plus nette, tandis que Coding et Email Classification confirment un positionnement éloigné des meilleurs modèles évalués.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Amazon |
| Poids | 🔒 Propriétaire |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Benchable : Ethics (Baseline) | 98,0 % | 105ᵉ / 159 | benchable | ✅ Mesuré |
| Benchable : General Knowledge (Baseline) | 95,0 % | 121ᵉ / 161 | benchable | ✅ Mesuré |
| Benchable : Hallucinations (Baseline) | 94,0 % | 78ᵉ / 146 | benchable | ✅ Mesuré |
| Benchable : Email Classification (Baseline) | 90,0 % | 147ᵉ / 163 | benchable | ✅ Mesuré |
| Benchable : Coding (Baseline) | 82,0 % | 104ᵉ / 162 | benchable | ✅ Mesuré |
| Benchable : Mathematics (Baseline) | 39,0 % | 126ᵉ / 140 | benchable | ✅ Mesuré |
| Benchable : Instruction Following (Baseline) | 14,0 % | 141ᵉ / 163 | benchable | ✅ Mesuré |
| Benchable : Reasoning (Baseline) | 2,0 % | 151ᵉ / 155 | benchable | ✅ Mesuré |
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
Benchable : Ethics (Baseline)
Benchable : General Knowledge (Baseline)
Coût & vitesse agentiques
| Indicateur | Valeur |
|---|---|
| Coût moyen par benchmark — Benchable | 0 $ |
| Latence moyenne par benchmark — Benchable | 2 min 06 s |
Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.
Notre analyse
Forces. nova-micro-v1 obtient 98% en Ethics et 94% en Hallucinations. Ces résultats indiquent de bonnes réponses sur les tests de base concernés. Leur portée comparative reste limitée : Ethics est partagé avec 19 autres modèles et Hallucinations avec quatre autres, sur des benchmarks plafonnés et non discriminants. General Knowledge atteint également un score brut élevé de 95%, même si le modèle se classe 121e sur 161.
Limites et points d’attention. Les rangs replacent ces pourcentages dans un ensemble très concurrentiel. nova-micro-v1 occupe la 147e place sur 163 en Email Classification, à égalité avec deux autres modèles. En Coding, il partage la 104e place sur 162 avec quatre autres. Mathematics est sa principale faiblesse : son score tombe à 39% et le situe 126e sur 140, à égalité avec un autre modèle. Ces trois benchmarks sont eux aussi plafonnés et non discriminants. Le modèle reste donc surtout pertinent pour des tâches simples couvertes par ses meilleurs tests de base, avec une prudence particulière en mathématiques et en programmation.
Sources des données : LLM-Stats (llm-stats.com) · Benchable.ai (benchable.ai).