DeepSeek LLM 67B

DeepSeek LLM 67B est un grand modèle de langage publié par DeepSeek le 29 novembre 2023. Âgé d’environ trois ans, il appartient déjà à une génération ancienne à l’échelle de l’IA, où les progrès rapides rendent les modèles rapidement dépassés.

À sa sortie, il se situait dans le top 88% des huit LLM de sa génération sur GPQA diamond. Cette position historique contraste avec ses rangs actuels, proches du bas des classements scientifiques et mathématiques disponibles.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Notre analyse

Forces. DeepSeek LLM 67B conserve surtout un intérêt historique pour situer les performances des grands modèles de langage publiés fin 2023. Sur GPQA diamond, qui évalue des questions scientifiques de niveau doctorat, il appartenait à sa sortie au top 88% des huit modèles parus au cours des quelque 18 mois précédents. Deux sources de données concordantes étayent cette évaluation.

Limites et points d'attention. Les résultats disponibles placent désormais DeepSeek LLM 67B presque au bas du classement sur GPQA diamond, avec seulement deux modèles derrière lui. Le constat est similaire sur MATH level 5, où il figure parmi les cinq derniers modèles évalués. Ses scores montrent donc de fortes limites sur le raisonnement scientifique avancé et les problèmes mathématiques difficiles. Son ancienneté d’environ trois ans est très importante dans ce secteur : ses performances sont probablement largement dépassées, et les modèles de cette période sont souvent retirés du catalogue de leur éditeur.

Sources des données : LLM-Stats (llm-stats.com) · Epoch AI (epoch.ai), CC-BY-4.0.