Gemma 2 9B
Gemma 2 9B est un LLM open-weights de Google, publié le 27 juin 2024 sous licence Gemma, avec usage commercial autorisé. Ses 9 milliards de paramètres, sa fenêtre de contexte de 8 192 tokens et ses connaissances arrêtées au 30 juin 2024 définissent un modèle compact par son nombre de…
Gemma 2 9B est un LLM open-weights de Google, publié le 27 juin 2024 sous licence Gemma, avec usage commercial autorisé. Ses 9 milliards de paramètres, sa fenêtre de contexte de 8 192 tokens et ses connaissances arrêtées au 30 juin 2024 définissent un modèle compact par son nombre de paramètres, mais désormais ancien.
Près de deux ans représentent une très longue période à l’échelle de l’IA. Gemma 2 9B doit donc être replacé parmi les modèles de 2024, plutôt que comparé directement aux modèles haut de gamme actuels. Son intérêt tient surtout à son positionnement historique et à la disponibilité de ses poids.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Gemma |
| Date de sortie | 27 juin 2024 |
| Multimodal | non |
| Paramètres | 9 milliards |
| Fenêtre de contexte | 8 192 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-E | 88,0 % | 2ᵉ / 8 | llm-stats | Auto-déclaré |
| BoolQ | 84,2 % | 4ᵉ / 10 | llm-stats | Auto-déclaré |
| HellaSwag | 81,9 % | 17ᵉ / 27 | llm-stats | Auto-déclaré |
| PIQA | 81,7 % | 4ᵉ / 11 | llm-stats | Auto-déclaré |
| Winogrande | 80,6 % | 11ᵉ / 22 | llm-stats | Auto-déclaré |
| TriviaQA | 76,6 % | 8ᵉ / 18 | llm-stats | Auto-déclaré |
| MMLU | 71,3 % | 78ᵉ / 98 | llm-stats | Auto-déclaré |
| GSM8k | 68,6 % | 44ᵉ / 47 | llm-stats | Auto-déclaré |
| ARC-C | 68,4 % | 25ᵉ / 34 | llm-stats | Auto-déclaré |
| BIG-Bench | 68,2 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| Social IQa | 53,4 % | 5ᵉ / 9 | llm-stats | Auto-déclaré |
| AGIEval | 52,8 % | 6ᵉ / 10 | llm-stats | Auto-déclaré |
| MBPP | 52,4 % | 32ᵉ / 33 | llm-stats | Auto-déclaré |
| HumanEval | 40,2 % | 64ᵉ / 65 | llm-stats | Auto-déclaré |
| MATH | 36,6 % | 67ᵉ / 70 | llm-stats | Auto-déclaré |
| Natural Questions | 29,2 % | 3ᵉ / 7 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Gemma 2 9B figurait dans le top 84% des 38 LLM de sa génération sur GPQA diamond, consacré aux questions scientifiques de niveau doctorat. Ce résultat le situait sans en faire une référence de premier plan. Parmi les évaluations disponibles, MATH level 5 constitue son signal relatif le moins défavorable, même si le modèle reste dans la partie basse du classement. Sa licence Gemma autorise l’usage commercial et son format open-weights donne accès aux poids, deux caractéristiques concrètes qui prolongent son intérêt au-delà de ses performances brutes.
Limites et points d’attention. Les classements actuels placent Gemma 2 9B très loin des meilleurs sur GPQA diamond et dans le bas du tableau sur MATH level 5. Son résultat presque nul sur OTIS Mock AIME 2024-2025 montre une faiblesse particulièrement nette face aux problèmes d’olympiades de mathématiques de niveau lycée. Sa fenêtre de 8 192 tokens est également une contrainte structurelle. Compte tenu de son ancienneté, ses performances sont aujourd’hui probablement largement dépassées, et les modèles de cette période sont souvent retirés des catalogues des éditeurs. Gemma 2 9B conserve donc surtout une valeur historique dans l’évolution des LLM open-weights de Google.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.