Gemma 3 12B

Gemma 3 12B est un LLM open-weights de Google, publié le 12 mars 2025 sous licence Gemma, avec usage commercial autorisé. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA et ses performances sont probablement dépassées par celles de modèles plus récents.

Ses 12 milliards de paramètres et sa fenêtre de contexte de 131 072 tokens composent un modèle particulièrement économique. Ses tarifs se situent 97 % sous la moyenne des LLM similaires et environ 110 fois sous ceux des modèles frontière. Ses connaissances s’arrêtent au 31 août 2024.

Caractéristiques

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Classements Arena (Elo)

Arena Text · 200 modèles classés

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 98 % en dessous de la moyenne des LLM similaires, et 110 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.6 Sol, Gemini 3.5 Flash).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Notre analyse

Forces. Gemma 3 12B se distingue surtout en classification d’e-mails, domaine dans lequel il se place près du sommet du classement Benchable. Ses résultats en éthique et en connaissances générales affichent également des taux élevés, même si leurs rangs relatifs sont moins favorables. À sa sortie, il figurait dans le top 72 % des 80 LLM de sa génération sur GPQA. Sa longue fenêtre de contexte constitue un autre trait marquant. Son principal avantage pratique reste toutefois son coût très bas, avec un tarif minimal de 0,05 $ par million de tokens en entrée et de 0,15 $ en sortie, compatible avec des traitements volumineux à budget réduit.

Limites et points d’attention. Les résultats deviennent nettement moins convaincants en programmation, en mathématiques et surtout en raisonnement, où Gemma 3 12B reste dans la partie basse des classements observés. Son classement Arena text est particulièrement défavorable, au 194e rang sur 200, avec un Elo de 1342 contre 1509 pour le modèle en tête. Environ un an après sa sortie, cet écart confirme un modèle désormais largement dépassé face aux références récentes et susceptible de ne plus occuper une place active dans le catalogue de son éditeur.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Arena.ai (arena.ai) · Benchable.ai (benchable.ai).