Gemini 2.0 Pro Exp

Gemini 2.0 Pro Exp est un LLM de Google sorti le 5 février 2025. Son ancienneté d’environ un an est déjà très longue à l’échelle de l’IA, ce qui le situe d’abord comme un modèle de sa période plutôt que comme une référence actuelle.

À sa sortie, il se distinguait surtout sur GPQA diamond, où il figurait dans le top 11% des LLM de sa génération. Ses résultats montrent un profil solide en raisonnement scientifique avancé pour son époque, mais nettement moins convaincant sur les mathématiques de recherche les plus difficiles.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Notre analyse

Forces. Gemini 2.0 Pro Exp apparaît comme un modèle compétitif à sa sortie, en particulier sur GPQA diamond, un benchmark de questions scientifiques niveau doctorat. Son positionnement dans le haut du panier de sa génération indique une capacité crédible sur des tâches de raisonnement scientifique exigeantes pour les standards de début 2025. Son score sur MATH level 5 le place aussi dans une zone solide, avec des performances utiles sur des problèmes mathématiques avancés, même sans atteindre les tout premiers rangs du panel Epoch.

Limites et points d'attention. Son âge pèse fortement sur son intérêt actuel : environ un an représente un cycle long dans l’IA générative, et ce type de modèle est probablement dépassé par les modèles haut de gamme récents, voire souvent retiré du catalogue de l’éditeur. Le résultat nul sur FrontierMath, benchmark de mathématiques de recherche très difficiles, marque une limite nette sur les problèmes les plus complexes. La couverture repose aussi sur 1 source de données concordantes, ce qui invite à lire ses classements comme une photographie partielle de ses performances publiques.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.