Graphwalks BFS <128k

Graphwalks BFS <128k est un benchmark créé par OpenAI pour évaluer le raisonnement relationnel et structurel sur des graphes dans des contextes longs. Les graphes, représentés par des hachages hexadécimaux, encodent notamment des relations parent-enfant à suivre à travers le contexte.

Les tâches demandent d’effectuer un parcours en largeur, puis de retourner les nœuds atteignables à une profondeur donnée. Le benchmark mesure ainsi la capacité des modèles à exploiter correctement une structure distribuée dans un contexte inférieur à 128k tokens, au moyen d’un score F1 combinant précision et rappel.

Carte d'identité

Classement des modèles (10)

Classement établi sur 10 modèles évalués, dont 10 de grands éditeurs. Score médian de l'ensemble : 67,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique que le modèle retrouve les ensembles de nœuds attendus avec peu d’omissions et peu d’ajouts erronés. Le meilleur résultat, 94 % pour GPT-5.2, contre une médiane de 68 %, montre une avance nette en tête du classement, tout en suggérant un possible début de saturation pour les modèles les plus performants. Cette lecture reste spécifique au parcours BFS et au suivi de relations parent-enfant dans des contextes inférieurs à 128k tokens. Elle ne doit pas être étendue à l’ensemble du raisonnement sur graphe ou du raisonnement en contexte long. La métrique F1 fournit une mesure structurée de la qualité des ensembles prédits, mais les scores sont majoritairement auto-déclarés par les éditeurs, ce qui réduit l’homogénéité de leur vérification. Le caractère public du benchmark impose aussi de considérer un risque de contamination lors de l’interprétation des performances. Enfin, le classement ne permet pas une comparaison indépendante entre éditeurs : les dix modèles évalués sont tous édités par OpenAI, également créateur du benchmark. Il renseigne donc surtout sur les écarts internes à cette gamme de modèles.

Sources des scores : llm-stats.