Gemini 1.5 Flash 8B
Gemini 1.5 Flash 8B est un LLM propriétaire de Google, lancé le 15 mars 2024 avec 8 milliards de paramètres. Son principal trait distinctif est une fenêtre de contexte de 1 048 576 tokens, conçue pour traiter un volume d’informations particulièrement étendu.
Gemini 1.5 Flash 8B est un LLM propriétaire de Google, lancé le 15 mars 2024 avec 8 milliards de paramètres. Son principal trait distinctif est une fenêtre de contexte de 1 048 576 tokens, conçue pour traiter un volume d’informations particulièrement étendu.
Près de deux ans après sa sortie, le modèle est ancien à l’échelle de l’IA et probablement dépassé par des générations plus récentes. Il conserve néanmoins un intérêt historique pour son association entre taille contenue, contexte d’environ un million de tokens et connaissances allant jusqu’au 1er octobre 2024.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Poids | 🔒 Propriétaire |
| Date de sortie | 15 mars 2024 |
| Connaissances jusqu'à | 2024-10-01 |
| Multimodal | oui |
| Paramètres | 8 milliards |
| Fenêtre de contexte | 1 048 576 tokens (≈ 1,0 M) |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| XSTest | 92,6 % | 3ᵉ / 3 | llm-stats | Auto-déclaré |
| FLEURS | 86,4 % | 6ᵉ / 6 | llm-stats | Auto-déclaré |
| Natural2Code | 75,5 % | 6ᵉ / 8 | llm-stats | Auto-déclaré |
| WMT23 | 72,6 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| Video-MME | 66,2 % | 16ᵉ / 17 | llm-stats | Auto-déclaré |
| MATH | 58,7 % | 49ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Pro | 58,7 % | 101ᵉ / 125 | llm-stats | Auto-déclaré |
| MathVista | 54,7 % | 31ᵉ / 38 | llm-stats | Auto-déclaré |
| MRCR | 54,7 % | 5ᵉ / 7 | llm-stats | Auto-déclaré |
| MMMU | 53,7 % | 51ᵉ / 61 | llm-stats | Auto-déclaré |
| Vibe-Eval | 40,9 % | 8ᵉ / 8 | llm-stats | Auto-déclaré |
| GPQA | 38,4 % | 193ᵉ / 219 | llm-stats | Auto-déclaré |
| HiddenMath | 32,8 % | 10ᵉ / 13 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. La fenêtre de contexte de 1 048 576 tokens constitue l’atout le plus net de Gemini 1.5 Flash 8B. Elle autorise la prise en compte de séquences très longues malgré une taille limitée à 8 milliards de paramètres. À sa sortie, le modèle se situait dans le top 57% des LLM de sa génération sur GPQA diamond (questions scientifiques de niveau doctorat), soit une position intermédiaire parmi les modèles publiés au cours des quelque 18 mois précédents. Ses connaissances s’étendent jusqu’au 1er octobre 2024, une date postérieure à son lancement.
Limites et points d'attention. Les évaluations disponibles montrent des capacités de raisonnement spécialisées faibles. Sur GPQA diamond, le modèle se place près du bas du classement global, tandis que son résultat sur OTIS Mock AIME 2024-2025 (olympiades de mathématiques de niveau lycée) est particulièrement bas. Ces performances sont aujourd’hui largement dépassées. Son ancienneté implique aussi qu’il est susceptible d’avoir été retiré du catalogue de l’éditeur, comme de nombreux modèles de cette période. Enfin, sa licence propriétaire interdit l’accès ouvert aux poids.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.