Gemini 1.0 Pro
Gemini 1.0 Pro est un LLM propriétaire de Google, lancé le 15 février 2024 aux États-Unis. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, aujourd’hui probablement dépassée et souvent retirée du catalogue de son éditeur.
Gemini 1.0 Pro est un LLM propriétaire de Google, lancé le 15 février 2024 aux États-Unis. Âgé d’environ deux ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, aujourd’hui probablement dépassée et souvent retirée du catalogue de son éditeur.
À sa sortie, le modèle se classait dans la moitié supérieure des 16 LLM de sa génération sur GPQA diamond. Il associe une fenêtre de contexte de 32 760 tokens à des connaissances arrêtées au 1er février 2024. Ses poids ne sont pas ouverts.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | |
| Poids | 🔒 Propriétaire |
| Date de sortie | 15 février 2024 |
| Connaissances jusqu'à | 2024-02-01 |
| Multimodal | non |
| Fenêtre de contexte | 32 760 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| FLEURS | 93,6 % | 2ᵉ / 6 | llm-stats | n.d. |
| BIG-Bench | 75,0 % | 1ᵉ / 3 | llm-stats | n.d. |
| MMLU | 71,8 % | 77ᵉ / 98 | llm-stats | Auto-déclaré |
| WMT23 | 71,7 % | 4ᵉ / 4 | llm-stats | n.d. |
| EgoSchema | 55,7 % | 9ᵉ / 9 | llm-stats | Auto-déclaré |
| MMMU | 47,9 % | 58ᵉ / 61 | llm-stats | n.d. |
| MathVista | 46,6 % | 36ᵉ / 38 | llm-stats | n.d. |
| MATH | 32,6 % | 68ᵉ / 70 | llm-stats | n.d. |
| GPQA | 27,9 % | 211ᵉ / 219 | llm-stats | n.d. |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Jeu de données | Unspecified unreleased |
| Matériel | Google TPU v4 |
| Pays | United States of America |
Notre analyse
Forces. À sa sortie, Gemini 1.0 Pro figurait dans le top 50% des LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Ce positionnement en faisait un modèle compétitif pour son époque, sans le placer parmi les meilleurs. Parmi les trois évaluations disponibles, GPQA diamond constitue son résultat relatif le plus solide. Sa fenêtre de contexte de 32 760 tokens autorise par ailleurs le traitement d’un volume conséquent de texte au sein d’une même requête.
Limites et points d’attention. Les classements élargis montrent désormais un net décrochage. Gemini 1.0 Pro se situe près du bas du tableau sur GPQA diamond, MATH level 5 et OTIS Mock AIME 2024-2025. Son résultat sur ce dernier benchmark, consacré aux olympiades de mathématiques de niveau lycée, signale une faiblesse particulièrement marquée. Les performances mathématiques avancées sont également faibles sur MATH level 5. Son ancienneté, ses connaissances arrêtées au 1er février 2024 et sa licence propriétaire renforcent son statut de modèle historique, probablement dépassé et souvent absent du catalogue actuel de l’éditeur.
Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.