Gemma 3 1B
Gemma 3 1B est un LLM open-weights de Google, publié le 12 mars 2025 sous licence Gemma, avec un usage commercial autorisé. Son format d’un milliard de paramètres le positionne comme une déclinaison compacte, associée à une fenêtre de contexte de 32 000 tokens.
Gemma 3 1B est un LLM open-weights de Google, publié le 12 mars 2025 sous licence Gemma, avec un usage commercial autorisé. Son format d’un milliard de paramètres le positionne comme une déclinaison compacte, associée à une fenêtre de contexte de 32 000 tokens.
Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA. Ses connaissances s’arrêtent au 31 août 2024 et ses performances doivent être replacées dans le paysage de sa sortie, aujourd’hui largement dépassé. Les caractéristiques recensées reposent sur deux sources de données concordantes.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Gemma |
| Date de sortie | 12 mars 2025 |
| Multimodal | non |
| Paramètres | 1 milliards |
| Fenêtre de contexte | 32 000 tokens |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| IFEval | 80,2 % | 53ᵉ / 65 | llm-stats | Auto-déclaré |
| GSM8k | 62,8 % | 45ᵉ / 47 | llm-stats | Auto-déclaré |
| Natural2Code | 56,0 % | 8ᵉ / 8 | llm-stats | Auto-déclaré |
| MATH | 48,0 % | 58ᵉ / 70 | llm-stats | Auto-déclaré |
| HumanEval | 41,5 % | 63ᵉ / 65 | llm-stats | Auto-déclaré |
| BIG-Bench Hard | 39,1 % | 20ᵉ / 20 | llm-stats | Auto-déclaré |
| FACTS Grounding | 36,4 % | 13ᵉ / 13 | llm-stats | Auto-déclaré |
| WMT24++ | 35,9 % | 22ᵉ / 23 | llm-stats | Auto-déclaré |
| MBPP | 35,2 % | 33ᵉ / 33 | llm-stats | Auto-déclaré |
| Global-MMLU-Lite | 34,2 % | 14ᵉ / 14 | llm-stats | Auto-déclaré |
| GPQA | 19,2 % | 218ᵉ / 219 | llm-stats | Auto-déclaré |
| HiddenMath | 15,8 % | 13ᵉ / 13 | llm-stats | Auto-déclaré |
| MMLU-Pro | 14,7 % | 125ᵉ / 125 | llm-stats | Auto-déclaré |
| BIG-Bench Extra Hard | 7,2 % | 11ᵉ / 11 | llm-stats | Auto-déclaré |
| Bird-SQL (dev) | 6,4 % | 7ᵉ / 7 | llm-stats | Auto-déclaré |
| SimpleQA | 2,2 % | 44ᵉ / 45 | llm-stats | Auto-déclaré |
| LiveCodeBench | 1,9 % | 72ᵉ / 72 | llm-stats | Auto-déclaré |
| ECLeKTic | 1,4 % | 8ᵉ / 8 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Gemma 3 1B associe un format limité à un milliard de paramètres à une fenêtre de contexte de 32 000 tokens. Sa licence Gemma ouvre l’accès à ses poids et autorise les usages commerciaux, un positionnement plus flexible que celui d’un modèle uniquement accessible sous forme de service fermé. À sa sortie, il appartenait à une génération comptant 80 LLM comparés sur GPQA, un benchmark centré sur des questions scientifiques complexes.
Limites et points d’attention. Son classement dans le top 100% sur GPQA ne le plaçait pas dans un groupe sélectif de sa génération et ne signale donc pas une force particulière en raisonnement scientifique complexe. Son ancienneté d’environ un an est très importante dans ce secteur : ses performances sont désormais largement dépassées et ce type de modèle est souvent retiré du catalogue de son éditeur. La date de coupure des connaissances, fixée au 31 août 2024, exclut les événements et informations postérieurs. Gemma 3 1B conserve surtout un intérêt historique pour observer le positionnement d’un petit modèle open-weights commercialement exploitable au début de 2025.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).