Gemma 3n E2B Instructed LiteRT (Preview)
Gemma 3n E2B Instructed LiteRT (Preview) est un LLM de Google à poids ouverts, publié le 20 mai 2025 sous licence Gemma. Ses 2 milliards de paramètres le placent dans une catégorie de modèles relativement compacts, avec un usage commercial autorisé.
Gemma 3n E2B Instructed LiteRT (Preview) est un LLM de Google à poids ouverts, publié le 20 mai 2025 sous licence Gemma. Ses 2 milliards de paramètres le placent dans une catégorie de modèles relativement compacts, avec un usage commercial autorisé.
Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA. Son intérêt réside donc surtout dans son positionnement à sa sortie, lorsqu’il se situait dans le haut du panier des LLM contemporains sur GPQA. Ses connaissances s’arrêtent au 1er juin 2024.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Gemma |
| Date de sortie | 20 mai 2025 |
| Connaissances jusqu'à | 2024-06-01 |
| Multimodal | oui |
| Paramètres | 2 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| PIQA | 78,9 % | 8ᵉ / 11 | llm-stats | Auto-déclaré |
| BoolQ | 76,4 % | 9ᵉ / 10 | llm-stats | Auto-déclaré |
| ARC-E | 75,8 % | 6ᵉ / 8 | llm-stats | Auto-déclaré |
| HellaSwag | 72,2 % | 22ᵉ / 27 | llm-stats | Auto-déclaré |
| Winogrande | 66,8 % | 20ᵉ / 22 | llm-stats | Auto-déclaré |
| HumanEval | 66,5 % | 59ᵉ / 65 | llm-stats | Auto-déclaré |
| TriviaQA | 60,8 % | 16ᵉ / 18 | llm-stats | Auto-déclaré |
| MMLU | 60,1 % | 96ᵉ / 98 | llm-stats | Auto-déclaré |
| Global-MMLU-Lite | 59,0 % | 11ᵉ / 14 | llm-stats | Auto-déclaré |
| MBPP | 56,6 % | 30ᵉ / 33 | llm-stats | Auto-déclaré |
| Global-MMLU | 55,1 % | 4ᵉ / 5 | llm-stats | Auto-déclaré |
| DROP | 53,9 % | 25ᵉ / 29 | llm-stats | Auto-déclaré |
| MGSM | 53,1 % | 28ᵉ / 30 | llm-stats | Auto-déclaré |
| ARC-C | 51,7 % | 31ᵉ / 34 | llm-stats | Auto-déclaré |
| Social IQa | 48,8 % | 8ᵉ / 9 | llm-stats | Auto-déclaré |
| BIG-Bench Hard | 44,3 % | 18ᵉ / 20 | llm-stats | Auto-déclaré |
| WMT24++ | 42,7 % | 20ᵉ / 23 | llm-stats | Auto-déclaré |
| MMLU-Pro | 40,5 % | 121ᵉ / 125 | llm-stats | Auto-déclaré |
| Include | 38,6 % | 30ᵉ / 31 | llm-stats | Auto-déclaré |
| HiddenMath | 27,7 % | 11ᵉ / 13 | llm-stats | Auto-déclaré |
| GPQA | 24,8 % | 214ᵉ / 219 | llm-stats | Auto-déclaré |
| LiveCodeBench v5 | 18,6 % | 8ᵉ / 9 | llm-stats | Auto-déclaré |
| Natural Questions | 15,5 % | 6ᵉ / 7 | llm-stats | Auto-déclaré |
| LiveCodeBench | 13,2 % | 67ᵉ / 72 | llm-stats | Auto-déclaré |
| Codegolf v2.2 | 11,0 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| MMLU-ProX | 8,1 % | 31ᵉ / 32 | llm-stats | Auto-déclaré |
| AIME 2025 | 6,7 % | 107ᵉ / 108 | llm-stats | Auto-déclaré |
| ECLeKTic | 2,5 % | 5ᵉ / 8 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Gemma 3n E2B Instructed LiteRT (Preview) figurait dans le top 98 % des 98 LLM de sa génération sur GPQA, un benchmark consacré aux questions scientifiques de niveau avancé. Ce résultat le situait favorablement parmi les modèles publiés au cours des quelque 18 mois précédents, malgré un format limité à 2 milliards de paramètres. Sa licence Gemma associe des poids ouverts à l’autorisation des usages commerciaux, ce qui constitue un avantage concret pour l’exploitation et l’adaptation du modèle.
Limites et points d’attention. Environ un an après sa publication, ce modèle doit être considéré comme ancien et probablement dépassé par des générations plus récentes. Son classement décrit sa compétitivité en mai 2025, pas son niveau face aux modèles actuels. La borne de connaissances fixée au 1er juin 2024 exclut les événements et informations postérieurs. Enfin, l’évaluation disponible repose sur une seule source de données, ce qui invite à ne pas généraliser son bon positionnement sur GPQA à l’ensemble des usages d’un LLM.
Sources des données : LLM-Stats (llm-stats.com).