ECLeKTic

ECLeKTic est un benchmark créé par Google Research et Google DeepMind pour évaluer le transfert de connaissances entre langues dans les grands modèles de langage. Il repose sur des questions de recherche d’information issues d’articles Wikipédia dont le contenu pertinent n’existe que dans une seule langue.

Les modèles doivent répondre sans accès à une source externe, dans un cadre de question-réponse multilingue closed-book. ECLeKTic mesure ainsi leur capacité à mobiliser, dans une langue, une connaissance rencontrée dans une autre, plutôt que leur seule maîtrise linguistique.

Carte d'identité

Classement des modèles (8)

Classement établi sur 8 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 3,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle restitue correctement davantage de connaissances au-delà de leur langue d’origine. Avec un meilleur résultat de 19 % pour Gemma 3n E4B Instructed et une médiane de 4 %, le classement ne montre pas de saturation apparente : le transfert cross-lingue évalué reste difficile pour les modèles classés. La portée demeure ciblée, avec environ 384 questions transférées entre 12 langues et fondées sur des contenus Wikipédia propres à une langue. Le caractère public du jeu et son ancrage dans Wikipédia invitent aussi à considérer un risque de contamination lors de l’interprétation, sans qu’il établisse à lui seul qu’une contamination a eu lieu. La rigueur comparative est limitée par des scores majoritairement auto-déclarés, plutôt que mesurés de manière indépendante. Enfin, les huit modèles du classement sont édités par Google, également à l’origine du benchmark. Les résultats renseignent donc sur les écarts internes à cette sélection, mais ne constituent pas une base indépendante pour comparer les modèles Google à ceux d’autres éditeurs.

Sources des scores : llm-stats.