nova-pro-v1
nova-pro-v1 est un LLM propriétaire édité par Amazon. Son profil Benchable se distingue surtout en Email Classification, où son classement relatif est nettement meilleur que dans les autres tâches évaluées.
nova-pro-v1 est un LLM propriétaire édité par Amazon. Son profil Benchable se distingue surtout en Email Classification, où son classement relatif est nettement meilleur que dans les autres tâches évaluées.
Les scores bruts sont également élevés en Ethics, General Knowledge et Hallucinations. Ces benchmarks atteignent toutefois leur plafond pour de nombreux modèles, ce qui réduit leur pouvoir de comparaison. Coding et Instruction Following révèlent un positionnement plus en retrait.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Amazon |
| Poids | 🔒 Propriétaire |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Benchable : Ethics (Baseline) | 99,0 % | 73ᵉ / 159 | benchable | ✅ Mesuré |
| Benchable : Email Classification (Baseline) | 99,0 % | 11ᵉ / 163 | benchable | ✅ Mesuré |
| Benchable : General Knowledge (Baseline) | 98,0 % | 91ᵉ / 161 | benchable | ✅ Mesuré |
| Benchable : Hallucinations (Baseline) | 96,0 % | 67ᵉ / 146 | benchable | ✅ Mesuré |
| Benchable : Coding (Baseline) | 84,0 % | 96ᵉ / 162 | benchable | ✅ Mesuré |
| Benchable : Instruction Following (Baseline) | 55,0 % | 101ᵉ / 163 | benchable | ✅ Mesuré |
| Benchable : Reasoning (Baseline) | 48,0 % | 126ᵉ / 155 | benchable | ✅ Mesuré |
| Benchable : Mathematics (Baseline) | 42,0 % | 124ᵉ / 140 | benchable | ✅ Mesuré |
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
Benchable : Ethics (Baseline)
Benchable : Email Classification (Baseline)
Coût & vitesse agentiques
| Indicateur | Valeur |
|---|---|
| Coût moyen par benchmark — Benchable | 0,03 $ |
| Latence moyenne par benchmark — Benchable | 2 min 23 s |
Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.
Notre analyse
Forces. Email Classification constitue le résultat le plus solide de nova-pro-v1 : il partage la 11e place avec 40 autres modèles. Le score de 99% confirme une bonne maîtrise des critères de base de cette évaluation, même si l’ex æquo très large empêche de distinguer précisément les modèles. nova-pro-v1 obtient aussi des scores bruts élevés en Ethics, General Knowledge et Hallucinations. Il satisfait donc largement les critères mesurés par ces tests, sans dégager d’avantage net dans leurs classements.
Limites et points d’attention. Les benchmarks plafonnés rendent les meilleurs scores peu discriminants. Malgré 99% en Ethics, nova-pro-v1 partage seulement la 73e place avec 30 autres modèles. General Knowledge et Hallucinations restent également en milieu de tableau. Les faiblesses sont plus visibles en Coding, où le modèle partage la 96e place malgré un score de 84%, et surtout en Instruction Following : son score tombe à 55% et le place 101e sur 163. Ce dernier résultat indique une capacité nettement moins convaincante à respecter les consignes dans le cadre de cette évaluation.
Sources des données : LLM-Stats (llm-stats.com) · Benchable.ai (benchable.ai).