Claude 3 Opus
Claude 3 Opus est un LLM propriétaire d’Anthropic, lancé le 29 février 2024. Âgé d’environ deux ans, il est désormais très ancien à l’échelle de l’IA et probablement dépassé par des modèles plus récents, alors qu’il se classait à sa sortie dans le top 6% de sa génération sur GPQA diamond.
Claude 3 Opus est un LLM propriétaire d’Anthropic, lancé le 29 février 2024. Âgé d’environ deux ans, il est désormais très ancien à l’échelle de l’IA et probablement dépassé par des modèles plus récents, alors qu’il se classait à sa sortie dans le top 6% de sa génération sur GPQA diamond.
Le modèle se distingue par une fenêtre de contexte de 200 000 tokens et des connaissances arrêtées au 31 août 2023. Son positionnement premium reste particulièrement coûteux, avec une tarification supérieure de 653% à la moyenne des LLM similaires et environ 2,7 fois plus élevée que celle des modèles frontière.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Anthropic |
| Poids | 🔒 Propriétaire |
| Date de sortie | 29 février 2024 |
| Connaissances jusqu'à | 2023-08-31 |
| Multimodal | oui |
| Fenêtre de contexte | 200 000 tokens |
| Modalités (entrée → sortie) | text,image → text |
Indices de synthèse
| Indice | Valeur | Rang (LLM) |
|---|---|---|
| Intelligence Index | 11.8 | 124ᵉ / 137 |
| Code Index | 19.5 | 66ᵉ / 74 |
Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Epoch: GPQA diamond | 47,2 % | 49ᵉ / 85 | epoch | ✅ Mesuré |
| Epoch: MATH level 5 | 37,5 % | 36ᵉ / 59 | epoch | ✅ Mesuré |
| Epoch: OTIS Mock AIME 2024-2025 | 4,7 % | 49ᵉ / 64 | epoch | ✅ Mesuré |
| ARC-C | 96,4 % | 3ᵉ / 34 | llm-stats | Auto-déclaré |
| HellaSwag | 95,4 % | 1ᵉ / 27 | llm-stats | Auto-déclaré |
| GSM8k | 95,0 % | 11ᵉ / 47 | llm-stats | Auto-déclaré |
| MGSM | 90,7 % | 6ᵉ / 30 | llm-stats | Auto-déclaré |
| BIG-Bench Hard | 86,8 % | 4ᵉ / 20 | llm-stats | Auto-déclaré |
| MMLU | 86,8 % | 26ᵉ / 98 | llm-stats | Auto-déclaré |
| HumanEval | 84,9 % | 35ᵉ / 65 | llm-stats | Auto-déclaré |
| DROP | 83,1 % | 8ᵉ / 29 | llm-stats | Auto-déclaré |
| MMLU-Pro | 68,5 % | 85ᵉ / 125 | llm-stats | Auto-déclaré |
| MATH | 60,1 % | 46ᵉ / 70 | llm-stats | Auto-déclaré |
| GPQA | 50,4 % | 162ᵉ / 219 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.
Intelligence Index
Code Index
Classements Arena (Elo)
Arena Vision · 135 modèles classés
| Rang | Modèle | Elo |
|---|---|---|
| 1ᵉ | Claude Fable 5 | 1318 |
| 2ᵉ | Claude Opus 4.7 | 1304 |
| 3ᵉ | Claude Opus 4.6 | 1299 |
| ⋯ | ⋯ | |
| 110ᵉ | gemini-1.5-flash-8b-001 | 1071 |
| 111ᵉ | step-1v-32k | 1064 |
| 112ᵉ | Claude 3 Opus | 1062 |
| 113ᵉ | gemini-1.5-flash-001 | 1060 |
| 114ᵉ | molmo-72b-0924 | 1045 |
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Jeu de données | Unspecified unreleased |
| Pays | United States of America |
Notre analyse
Forces. À sa sortie, Claude 3 Opus figurait dans le haut du panier de sa génération en raisonnement scientifique avancé, selon GPQA diamond (questions scientifiques de niveau doctorat). Sa fenêtre de contexte de 200 000 tokens constituait également une caractéristique notable. Avec le recul, ses résultats en mathématiques générales restent plus solides que ceux obtenus sur les problèmes d’olympiades, tandis que son Code Index le place plutôt dans le bas du classement observé.
Limites et points d’attention. Les classements actuels situent Claude 3 Opus près du bas de tableau pour l’Intelligence Index, le Code Index, GPQA diamond et la vision. Son résultat sur OTIS Mock AIME 2024-2025 confirme une faiblesse marquée face aux problèmes de mathématiques de niveau olympiade. Son Arena vision est également très éloigné du modèle en tête. Son ancienneté et l’arrêt des connaissances en août 2023 réduisent encore sa pertinence actuelle. À cet âge, les modèles sont souvent retirés du catalogue de leur éditeur. Enfin, son prix premium paraît difficile à justifier aujourd’hui au regard de performances largement dépassées et d’un coût très supérieur aux offres comparables.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0.