DROP

DROP est un benchmark de compréhension écrite conçu par l’Allen Institute for AI (AI2), UC Irvine et Dheeru Dua et al. Il évalue la capacité des modèles à raisonner à partir du contenu de paragraphes, au-delà de la simple reformulation ou de l’identification d’entités.

Ses questions ouvertes exigent notamment de résoudre des références et d’effectuer des opérations discrètes, comme compter, additionner, comparer ou trier. DROP sert ainsi à mesurer conjointement la compréhension globale d’un passage et la production d’une réponse courte exacte.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (29)

Classement établi sur 29 modèles évalués, dont 23 de grands éditeurs. Score médian de l'ensemble : 79,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur DROP indique qu’un modèle parvient fréquemment à extraire les informations pertinentes d’un paragraphe, à relier correctement les références et à exécuter les opérations discrètes nécessaires. Les métriques F1 et exact match distinguent la proximité avec la réponse attendue de sa reproduction exacte.

La lecture du classement demande toutefois de la prudence, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un cadre unique. Le jeu de test privé, dont les réponses ne sont pas divulguées, limite l’accès direct aux solutions. Il ne supprime pas pour autant la nécessité d’interpréter avec précaution des résultats provenant de déclarations distinctes.

Avec 29 modèles évalués, un score médian de 79 % et DeepSeek-V3 en tête à 92 %, le classement montre que plusieurs systèmes atteignent déjà un niveau élevé sur cette tâche. Cet écart laisse encore une marge de différenciation, même si la concentration vers des scores élevés peut réduire progressivement le pouvoir discriminant du benchmark. Sa portée reste centrée sur des paragraphes en anglais, des réponses courtes et des formes ciblées de raisonnement discret.

Sources des scores : llm-stats.