Gemini 1.5 Pro
Gemini 1.5 Pro est un LLM propriétaire de Google, lancé le 1 mai 2024 aux États-Unis. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, où le renouvellement des modèles est particulièrement rapide.
Gemini 1.5 Pro est un LLM propriétaire de Google, lancé le 1 mai 2024 aux États-Unis. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, où le renouvellement des modèles est particulièrement rapide.
Sa caractéristique majeure reste sa fenêtre de contexte de 2 097 152 tokens, soit environ 2,1 millions. Ses connaissances s’arrêtent au 1er novembre 2023. Les résultats concordants de trois sources permettent surtout d’évaluer sa place historique parmi les modèles de sa période, plutôt que sa compétitivité actuelle.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Poids | 🔒 Propriétaire |
| Date de sortie | 1 mai 2024 |
| Connaissances jusqu'à | 2023-11-01 |
| Multimodal | oui |
| Fenêtre de contexte | 2 097 152 tokens (≈ 2,1 M) |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| XSTest | 98,8 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| FLEURS | 93,3 % | 3ᵉ / 6 | llm-stats | Auto-déclaré |
| HellaSwag | 93,3 % | 3ᵉ / 27 | llm-stats | Auto-déclaré |
| GSM8k | 90,8 % | 25ᵉ / 47 | llm-stats | Auto-déclaré |
| BIG-Bench Hard | 89,2 % | 2ᵉ / 20 | llm-stats | Auto-déclaré |
| MGSM | 87,5 % | 11ᵉ / 30 | llm-stats | Auto-déclaré |
| MATH | 86,5 % | 10ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU | 85,9 % | 33ᵉ / 98 | llm-stats | Auto-déclaré |
| Natural2Code | 85,4 % | 2ᵉ / 8 | llm-stats | Auto-déclaré |
| HumanEval | 84,1 % | 38ᵉ / 65 | llm-stats | Auto-déclaré |
| MRCR | 82,6 % | 2ᵉ / 7 | llm-stats | Auto-déclaré |
| Video-MME | 78,6 % | 9ᵉ / 17 | llm-stats | Auto-déclaré |
| MMLU-Pro | 75,8 % | 67ᵉ / 125 | llm-stats | Auto-déclaré |
| WMT23 | 75,1 % | 1ᵉ / 4 | llm-stats | Auto-déclaré |
| DROP | 74,9 % | 19ᵉ / 29 | llm-stats | Auto-déclaré |
| MathVista | 68,1 % | 17ᵉ / 38 | llm-stats | Auto-déclaré |
| MMMU | 65,9 % | 36ᵉ / 61 | llm-stats | Auto-déclaré |
| GPQA | 59,1 % | 147ᵉ / 219 | llm-stats | Auto-déclaré |
| Vibe-Eval | 53,9 % | 5ᵉ / 8 | llm-stats | Auto-déclaré |
| HiddenMath | 52,0 % | 5ᵉ / 13 | llm-stats | Auto-déclaré |
| AMC_2022_23 | 46,4 % | 5ᵉ / 6 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Jeu de données | Unspecified unreleased |
| Matériel | Google TPU v4 |
| Pays | United States of America |
Notre analyse
Forces. À sa sortie, Gemini 1.5 Pro figurait dans le top 4% des LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Ce positionnement le plaçait alors dans le haut du panier pour le raisonnement scientifique. Son résultat sur MATH level 5 demeure son meilleur signal parmi les évaluations fournies, avec une place dans la première moitié du classement. Sa fenêtre de contexte d’environ 2,1 millions de tokens constituait également une caractéristique distinctive, en autorisant une quantité de contexte particulièrement élevée.
Limites et points d’attention. Les classements élargis montrent le recul du modèle face à des générations plus récentes. Sur GPQA diamond, il se situe désormais dans la seconde moitié du tableau. Son résultat à OTIS Mock AIME 2024-2025, consacré aux olympiades de mathématiques de niveau lycée, est plus faible encore et le place nettement derrière les meilleurs modèles évalués. Après environ deux ans, ses performances sont probablement largement dépassées par les modèles haut de gamme actuels, et un modèle de cet âge est souvent retiré du catalogue de son éditeur. Sa licence propriétaire signifie enfin que ses poids ne sont pas ouverts.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Epoch AI (epoch.ai), CC-BY-4.0.