Tulu 3 (Tülu 3) 70B

Tulu 3 (Tülu 3) 70B est un LLM de l’Allen Institute for AI, sorti le 21 novembre 2024. Avec environ deux ans d’ancienneté, il appartient déjà à une génération très éloignée du rythme actuel de l’IA, où les modèles évoluent rapidement et deviennent souvent obsolètes en quelques mois.

À sa sortie, Tulu 3 (Tülu 3) 70B se situait dans le top 29% des LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Cette position en faisait un modèle solide pour son époque, surtout sur le raisonnement scientifique, avant d’être rattrapé par les modèles plus récents.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Notre analyse

Forces. Le principal point fort de Tulu 3 (Tülu 3) 70B se lit dans son positionnement initial sur GPQA diamond, où il figurait dans le haut du panier des LLM sortis dans les 18 mois précédant son lancement. Ce résultat indique une bonne tenue, pour son époque, sur des questions scientifiques exigeantes. Sur MATH level 5, le modèle se place plutôt en milieu de tableau, ce qui suggère une capacité correcte en mathématiques difficiles, sans atteindre les meilleurs systèmes évalués sur ce terrain.

Limites et points d'attention. Le modèle accuse aujourd’hui une ancienneté importante à l’échelle de l’IA. Ses performances sont probablement largement dépassées par les modèles haut de gamme récents, et ce type de modèle est souvent retiré des catalogues d’éditeur après plusieurs cycles de génération. Son résultat très faible sur OTIS Mock AIME 2024-2025, centré sur les olympiades de mathématiques de niveau lycée, signale une limite nette sur les problèmes de compétition. L’évaluation disponible repose aussi sur une seule source de données concordantes, ce qui réduit la profondeur de comparaison publique.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.