Claude 3.5 Sonnet

Claude 3.5 Sonnet est un LLM propriétaire d’Anthropic, éditeur américain, sorti le 22 octobre 2024. Près de deux ans représentent une très longue période dans l’IA : ce modèle appartient désormais à une génération ancienne, largement dépassée par les systèmes haut de gamme plus récents.

Sa fenêtre de contexte atteint 200 000 tokens. Son entraînement aurait mobilisé 2,7 × 10²⁵ FLOP, soit environ 7,5 millions d’heures-GPU H100 ou 3 500 GPU H100 pendant trois mois. Son coût estimé s’élève à 25,9 millions de dollars de 2023, un investissement qui reste marquant pour un modèle de cette période.

Caractéristiques

Indices de synthèse

Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Classements Arena (Elo)

Entraînement & empreinte

Notre analyse

Forces. À sa sortie, Claude 3.5 Sonnet figurait dans le top 3% des LLM de sa génération sur GPQA diamond, qui évalue des questions scientifiques de niveau doctorat. MATH level 5 constitue aujourd’hui son résultat le plus solide, dans la première moitié du classement. La fenêtre de 200 000 tokens reste également une caractéristique notable.

Limites et points d’attention. Le modèle est désormais en retrait : l’Intelligence Index le place près du bas du classement et le Code Index dans son dernier quart. Ses résultats chutent sur les épreuves mathématiques les plus exigeantes, avec 8% à OTIS Mock AIME et 2% à FrontierMath Private. Les scores de 0% sur FrontierMath Tier 4 sont plafonnés et non discriminants. Dans les classements Arena text et vision, il reste derrière Claude Fable 5, Claude Opus 4.6 et Claude Opus 4.7. Claude Fable 5 est nettement devant dans les duels attendus. Malgré un entraînement estimé à 7,5 millions d’heures-GPU H100 et 25,9 millions de dollars, Claude 3.5 Sonnet est aujourd’hui largement dépassé et souvent retiré du catalogue de l’éditeur. Pour un résultat plus abouti, on lui préférera Claude Fable 5, Claude Opus 4.6 ou Claude Opus 4.7.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0.