FACTS Grounding

FACTS Grounding est un benchmark créé en 2024 par Google DeepMind et Google Research. Il évalue la capacité des modèles de langage à produire des réponses longues, factuellement exactes et entièrement ancrées dans un document fourni.

Les modèles doivent exploiter un contexte pouvant être très long, sans hallucination ni recours à des connaissances externes. FACTS Grounding sert ainsi à mesurer la fiabilité des réponses fondées sur des sources, au moyen d’un score moyen établi automatiquement par un ensemble de LLM juges.

Carte d'identité

Classement des modèles (13)

Classement établi sur 13 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 74,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle génère régulièrement des réponses détaillées conformes au document de référence, tout en évitant les affirmations non étayées. Avec une médiane de 75 % et un meilleur résultat de 88 % pour Gemini 2.5 Pro Preview 06-05, le classement montre des écarts de performance et ne paraît pas entièrement saturé.

La rigueur repose sur plusieurs LLM juges plutôt que sur un juge unique, mais les scores recensés sont majoritairement auto-déclarés par les éditeurs. Leur comparabilité dépend donc de résultats qui ne proviennent pas tous d’une mesure indépendante. La séparation entre exemples publics et privés réduit l’exposition complète du jeu, sans éliminer à elle seule les enjeux de contamination liés à sa partie publique.

La portée reste ciblée : documents et réponses en anglais, contexte long, factualité et ancrage dans une source fournie. Enfin, 12 des 13 modèles classés sont édités par Google, également co-créateur du benchmark. Ce déséquilibre rend le classement peu indépendant pour comparer les modèles Google à ceux d’autres éditeurs.

Sources des scores : llm-stats.