Mistral 7B

Mistral 7B est un LLM de Mistral AI sorti le 27 mai 2024. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’intelligence artificielle, où les performances et les catalogues évoluent rapidement.

À sa sortie, le modèle se distinguait toutefois dans l’évaluation scientifique GPQA diamond, avec un positionnement dans le haut du panier des LLM de sa génération. Les résultats actuels montrent désormais un modèle largement distancé sur les tâches scientifiques et mathématiques difficiles.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. À sa sortie, Mistral 7B figurait dans le top 97% des 32 LLM de sa génération sur GPQA diamond, un benchmark composé de questions scientifiques de niveau doctorat. Ce classement replace le modèle parmi les offres les mieux positionnées de sa période sur cette évaluation précise. Cette lecture historique repose sur deux sources de données concordantes.

Limites et points d'attention. Les classements actuels placent Mistral 7B presque au dernier rang sur GPQA diamond et MATH level 5. Ses résultats indiquent de fortes limites face aux questions scientifiques avancées et aux problèmes mathématiques les plus difficiles. Près de deux ans après sa sortie, ses performances sont largement dépassées par celles des générations plus récentes. Cette ancienneté implique aussi un risque élevé de retrait du catalogue de l’éditeur, fréquent pour les modèles devenus obsolètes.

Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.