GDPval-AA

GDPval-AA évalue la capacité des modèles d’IA à accomplir un travail intellectuel ayant une valeur économique réelle. Le benchmark original GDPval a été créé par OpenAI, tandis que cette variante est exécutée indépendamment par Artificial Analysis.

L’évaluation repose sur des tâches professionnelles ouvertes, comme la production de documents, de présentations, de diagrammes ou de tableurs, dans plusieurs domaines. Son classement Elo vise à comparer les performances des modèles sur des livrables proches de situations de travail concrètes.

Carte d'identité

Classement des modèles (39)

Classement établi sur 39 modèles évalués, dont 24 de grands éditeurs. Ce benchmark n'étant pas exprimé en pourcentage, la barre prend le score du premier comme référence (100 %). « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle est plus souvent préféré lors de comparaisons aveugles par paires, jugées par un LLM. Il traduit donc une meilleure performance relative sur les tâches professionnelles retenues, plutôt qu’une mesure exhaustive de toutes les aptitudes utiles au travail. Le protocole apporte de la rigueur grâce à l’évaluation à l’aveugle et au classement Elo. L’interprétation demande toutefois de la prudence, car les scores recensés dans la base sont majoritairement auto-déclarés par les éditeurs.

Le meilleur résultat, obtenu par Claude Fable 5 à 60 %, contre une médiane de 40 %, met en évidence un écart entre le modèle de tête et le niveau central de l’ensemble évalué, sans signaler une saturation générale au sommet. La portée reste circonscrite aux 220 tâches en anglais du sous-ensemble GDPval gold, réparties entre 44 métiers et 9 secteurs. Enfin, le caractère public du benchmark invite à surveiller le risque de contamination au fil du temps. Le classement révèle avant tout une hiérarchie comparative sur ce périmètre précis.

Sources des scores : llm-stats.