Llama 3-8B

Publié par Meta le 18 avril 2024, Llama 3-8B est un LLM désormais ancien à l’échelle de l’IA. Près de deux ans après sa sortie, il appartient à une génération largement dépassée par les modèles plus récents et souvent retirée des catalogues des éditeurs.

Son intérêt est surtout historique. À sa sortie, Llama 3-8B se situait dans le top 93% des 27 LLM de sa génération sur GPQA diamond, un test de questions scientifiques de niveau doctorat. Son évaluation repose sur deux sources de données concordantes.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. Llama 3-8B occupait une position favorable dans son contexte de lancement sur GPQA diamond. Ce classement parmi les modèles sortis au cours des 18 mois précédents montre qu’il était compétitif sur les questions scientifiques complexes à son époque. Cette performance relative constitue son principal point fort dans les données disponibles, mais elle doit être lue comme un résultat historique plutôt que comme une indication de niveau actuel.

Limites et points d'attention. Face à l’ensemble des modèles évalués aujourd’hui, Llama 3-8B se trouve presque en fin de classement sur GPQA diamond. Le constat est similaire sur MATH level 5 et encore plus marqué sur OTIS Mock AIME 2024-2025, consacré aux problèmes d’olympiades mathématiques de niveau lycée. Ces résultats signalent de fortes limites en raisonnement scientifique et mathématique exigeant. Son ancienneté, très importante dans ce secteur, confirme un modèle désormais largement dépassé, appartenant à une génération souvent retirée du catalogue de son éditeur.

Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.