Gemma 3 27B

Gemma 3 27B est un LLM open-weights de Google, publié le 12 mars 2025 sous licence Gemma, avec usage commercial autorisé. Son ancienneté d’environ un an est déjà très importante à l’échelle de l’IA : ses performances doivent être replacées face aux modèles de sa période, plutôt qu’aux systèmes haut de gamme actuels.

Avec 27 milliards de paramètres et une fenêtre de contexte de 131 072 tokens, le modèle privilégie un accès très économique. Son utilisation est gratuite selon les tarifs recensés, soit 100% sous la moyenne des LLM similaires. Ses connaissances s’arrêtent au 31 août 2024.

Caractéristiques

Indices de synthèse

Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Classements Arena (Elo)

Arena Text · 200 modèles classés

Arena Vision · 135 modèles classés

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 96 % en dessous de la moyenne des LLM similaires, et 68,8 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.6 Sol, Gemini 3.5 Flash).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Notre analyse

Forces. Gemma 3 27B se distingue surtout sur Ethics (Baseline), où il occupe la première place du classement recensé. Ses résultats Baseline sont également élevés en connaissances générales, classification d’e-mails, programmation et mathématiques, même si leurs rangs relatifs sont moins favorables. Sur MATH level 5, il se situe dans le premier tiers du panel évalué. À sa sortie, son résultat sur GPQA diamond le plaçait dans le top 43% des LLM de sa génération, soit une position correcte sans appartenir au groupe de tête. Sa licence open-weights autorisant l’usage commercial et sa gratuité constituent ses principaux atouts pratiques.

Limites et points d’attention. Les indices synthétiques révèlent aujourd’hui un net décrochage : l’Intelligence Index place le modèle près du bas du classement, tandis que le Code Index et l’Agentic Index le classent derniers de leurs panels respectifs. Le Math Index reste lui aussi dans la partie basse. Les évaluations Arena confirment cette distance, avec un classement faible en texte et plus modeste encore en vision face aux meilleurs modèles. Après environ un an, ces performances sont largement dépassées à l’échelle de l’IA, et les modèles de cet âge sont souvent retirés des catalogues des éditeurs. La coupure des connaissances en août 2024 limite aussi son intérêt pour les informations récentes.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0 · Benchable.ai (benchable.ai).