o3-mini

Publié par OpenAI le 30 janvier 2025, o3-mini est un LLM propriétaire à poids non ouverts. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA et ses performances doivent être replacées dans le contexte de sa sortie.

À l’époque, o3-mini se classait dans le top 3% des modèles de sa génération sur GPQA diamond. Il associait de solides résultats en raisonnement et en mathématiques à une fenêtre de contexte de 200 000 tokens. Son autre argument reste son prix très économique, inférieur de 45% à la moyenne des LLM similaires et environ cinq fois moins élevé que celui des modèles frontière.

Caractéristiques

Indices de synthèse

Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Classements Arena (Elo)

Arena Text · 200 modèles classés

Arena Text · 200 modèles classés

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 47 % en dessous de la moyenne des LLM similaires, et 5 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.6 Sol, Gemini 3.5 Flash).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Entraînement & empreinte

Notre analyse

Forces. o3-mini excellait à sa sortie sur les tâches structurées de raisonnement. Il atteint le premier rang sur les évaluations General Knowledge et Reasoning de Benchable, et figure dans le top 10 sur MATH level 5. Son classement initial sur GPQA diamond le plaçait également dans le haut du panier de sa génération. La fenêtre de contexte de 200 000 tokens autorise le traitement de volumes de texte importants. Enfin, son positionnement tarifaire demeure très économique, avec un coût d’entrée de 1.1 $ par million de tokens et un coût de sortie de 4.4 $.

Limites et points d’attention. Les classements globaux sont nettement moins favorables que ses meilleurs benchmarks ciblés. L’Intelligence Index le situe dans le bas du classement, tandis que le Code Index et l’Agentic Index le placent près des dernières positions. Ses résultats dans Arena text sont également faibles face au panel évalué. Les scores en Ethics, Email Classification et Hallucinations s’accompagnent de rangs médiocres. Ses connaissances s’arrêtent au 30 septembre 2023. Environ un an après sa sortie, o3-mini est largement dépassé par les générations récentes et fait partie des modèles anciens souvent retirés du catalogue de leur éditeur.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0 · Benchable.ai (benchable.ai).