Gemma 3n E4B Instructed LiteRT Preview
Gemma 3n E4B Instructed LiteRT Preview est un LLM de Google publié le 20 mai 2025. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont probablement dépassées par celles de modèles plus récents.
Gemma 3n E4B Instructed LiteRT Preview est un LLM de Google publié le 20 mai 2025. Âgé d’environ un an, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont probablement dépassées par celles de modèles plus récents.
Ce modèle de 2 milliards de paramètres se distinguait pourtant à sa sortie par son niveau sur GPQA, qui le plaçait parmi les meilleurs LLM de sa génération. Ses poids sont ouverts sous licence Gemma, avec un usage commercial autorisé, et ses connaissances s’arrêtent au 1er juin 2024.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Gemma |
| Date de sortie | 20 mai 2025 |
| Connaissances jusqu'à | 2024-06-01 |
| Multimodal | oui |
| Paramètres | 2 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-E | 81,6 % | 4ᵉ / 8 | llm-stats | Auto-déclaré |
| BoolQ | 81,6 % | 5ᵉ / 10 | llm-stats | Auto-déclaré |
| PIQA | 81,0 % | 5ᵉ / 11 | llm-stats | Auto-déclaré |
| HellaSwag | 78,6 % | 19ᵉ / 27 | llm-stats | Auto-déclaré |
| HumanEval | 75,0 % | 48ᵉ / 65 | llm-stats | Auto-déclaré |
| Winogrande | 71,7 % | 16ᵉ / 22 | llm-stats | Auto-déclaré |
| TriviaQA | 70,2 % | 12ᵉ / 18 | llm-stats | Auto-déclaré |
| MMLU | 64,9 % | 91ᵉ / 98 | llm-stats | Auto-déclaré |
| Global-MMLU-Lite | 64,5 % | 9ᵉ / 14 | llm-stats | Auto-déclaré |
| MBPP | 63,6 % | 26ᵉ / 33 | llm-stats | Auto-déclaré |
| ARC-C | 61,6 % | 28ᵉ / 34 | llm-stats | Auto-déclaré |
| DROP | 60,8 % | 21ᵉ / 29 | llm-stats | Auto-déclaré |
| MGSM | 60,7 % | 24ᵉ / 30 | llm-stats | Auto-déclaré |
| Global-MMLU | 60,3 % | 2ᵉ / 5 | llm-stats | Auto-déclaré |
| Include | 57,2 % | 26ᵉ / 31 | llm-stats | Auto-déclaré |
| BIG-Bench Hard | 52,9 % | 16ᵉ / 20 | llm-stats | Auto-déclaré |
| MMLU-Pro | 50,6 % | 109ᵉ / 125 | llm-stats | Auto-déclaré |
| WMT24++ | 50,1 % | 16ᵉ / 23 | llm-stats | Auto-déclaré |
| Social IQa | 50,0 % | 6ᵉ / 9 | llm-stats | Auto-déclaré |
| HiddenMath | 37,7 % | 8ᵉ / 13 | llm-stats | Auto-déclaré |
| LiveCodeBench v5 | 25,7 % | 6ᵉ / 9 | llm-stats | Auto-déclaré |
| GPQA | 23,7 % | 216ᵉ / 219 | llm-stats | Auto-déclaré |
| Natural Questions | 20,9 % | 4ᵉ / 7 | llm-stats | Auto-déclaré |
| MMLU-ProX | 19,9 % | 29ᵉ / 32 | llm-stats | Auto-déclaré |
| Codegolf v2.2 | 16,8 % | 1ᵉ / 4 | llm-stats | Auto-déclaré |
| LiveCodeBench | 13,2 % | 67ᵉ / 72 | llm-stats | Auto-déclaré |
| AIME 2025 | 11,6 % | 105ᵉ / 108 | llm-stats | Auto-déclaré |
| ECLeKTic | 1,9 % | 7ᵉ / 8 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Gemma 3n E4B Instructed LiteRT Preview figurait dans le haut du panier des 98 LLM publiés au cours des quelque 18 mois précédents. Son classement dans le top 99% sur GPQA constituait son principal point fort mesuré. Sa licence Gemma associe par ailleurs des poids ouverts à l’autorisation d’un usage commercial, un cadre favorable à l’exploitation et à l’adaptation du modèle.
Limites et points d’attention. Son ancienneté d’environ un an est très importante dans un secteur où les générations se succèdent rapidement. Ses performances doivent donc être replacées dans le contexte de mai 2025 et sont probablement largement dépassées aujourd’hui, tandis qu’un modèle de cette période peut avoir été retiré du catalogue de son éditeur. La limite de connaissances fixée au 1er juin 2024 exclut les informations postérieures. Enfin, l’évaluation disponible repose sur une seule source de données concordante, ce qui invite à ne pas généraliser le bon résultat obtenu sur GPQA à d’autres capacités.
Sources des données : LLM-Stats (llm-stats.com).