o1

Sorti le 17 décembre 2024, o1 est un LLM propriétaire d’OpenAI au positionnement premium. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’IA. Sa fenêtre de contexte de 200 000 tokens reste l’une de ses caractéristiques marquantes.

À sa sortie, o1 figurait dans le top 2% des LLM de sa génération sur GPQA diamond. Il incarnait alors le haut du panier, notamment en mathématiques. Ses connaissances s’arrêtent toutefois au 31 octobre 2023, une limite importante pour les sujets récents.

Caractéristiques

Indices de synthèse

Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Classements Arena (Elo)

Arena Text · 200 modèles classés

Arena Vision · 135 modèles classés

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 619 % au-dessus de la moyenne des LLM similaires, et 2,7 fois plus cher que les modèles frontières (Claude Fable 5, GPT-5.6 Sol, Gemini 3.5 Flash).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Entraînement & empreinte

Notre analyse

Forces. o1 conserve un solide résultat sur MATH level 5, où il se classe dans le top 10. Son classement initial sur GPQA diamond confirme qu’il comptait parmi les modèles les plus performants de sa période. La fenêtre de contexte de 200 000 tokens offre également une capacité d’entrée étendue. Les scores Benchable atteignent presque tous leur plafond, mais ces résultats partagés par de nombreux modèles restent peu discriminants.

Limites et points d’attention. Ses performances sont aujourd’hui largement dépassées. L’Intelligence Index le place en retrait, tandis que son Code Index reste dans la seconde moitié du classement. Dans Arena text, il occupe le 125e rang sur 200, derrière Claude Fable 5, Claude Opus 4.6 et Claude Opus 4.7. Dans Arena vision, il se classe 66e sur 135, derrière les mêmes modèles. Claude Fable 5 est nettement devant dans les deux arènes. Le tarif accentue ce décalage : o1 coûte 619% de plus que la moyenne des LLM similaires et environ 2,7 fois plus que les modèles frontière. À cette ancienneté, les modèles sont aussi souvent retirés du catalogue de leur éditeur. o1 conserve surtout un intérêt comme point de comparaison historique. Pour un résultat plus abouti, on lui préférera Claude Fable 5, Claude Opus 4.6 ou Claude Opus 4.7.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0 · Benchable.ai (benchable.ai).