SciCode

SciCode est un benchmark de codage scientifique de recherche conçu par SciCode-bench, une collaboration académique réunissant plusieurs institutions. Élaboré par des scientifiques, il soumet les modèles de langage à des problèmes issus de plusieurs sous-domaines des sciences naturelles, notamment les mathématiques, la physique, la chimie, la biologie et la science des matériaux.

Chaque problème est décomposé en sous-problèmes nécessitant rappel de connaissances, raisonnement et synthèse de code. SciCode sert ainsi à évaluer la capacité des modèles à produire des solutions programmatiques fonctionnelles face à des tâches scientifiques exigeantes.

Carte d'identité

Classement des modèles (18)

Classement établi sur 18 modèles évalués, dont 4 de grands éditeurs. Score médian de l'ensemble : 43,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SciCode signifie qu’un modèle réussit une proportion importante de cas de test, aussi bien pour les sous-problèmes que pour les problèmes principaux. Il traduit donc une combinaison efficace de connaissances scientifiques, de raisonnement et de génération de code correct. L’évaluation par cas de test apporte un critère fonctionnel mesurable, mais la fiabilité comparative doit être nuancée, car les scores recensés sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés dans un protocole indépendant commun.

Le classement montre une difficulté encore marquée pour les modèles évalués. Seed 2.1 Pro arrive en tête avec 60 %, tandis que la médiane des 18 modèles s’établit à 43 %. Cet écart indique une hiérarchie réelle, sans signal de saturation complète au sommet. La portée reste centrée sur des problèmes en anglais couvrant 16 sous-domaines des sciences naturelles, et les résultats ne caractérisent donc que ce cadre. Enfin, l’accès public facilite l’usage et la reproductibilité du benchmark, mais impose de considérer le risque de contamination lors de l’interprétation de performances futures.

Sources des scores : llm-stats.