CodeForces

CodeForces est un benchmark de programmation compétitive construit à partir de problèmes issus de la plateforme Codeforces, sa créatrice. Il confronte les modèles à des énoncés algorithmiques complexes couvrant notamment la programmation dynamique, les graphes, les structures de données et les problèmes mathématiques.

Son objectif est d’évaluer conjointement la compréhension des consignes, la conception d’algorithmes efficaces et la génération de code correct. L’exécution des solutions sur des tests, notamment par soumission directe à la plateforme, en fait un outil d’évaluation pratique des capacités de résolution algorithmique des modèles.

Carte d'identité

Classement des modèles (16)

Classement établi sur 16 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 79,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé indique qu’un modèle produit fréquemment des solutions capables de réussir les tests associés à des problèmes de concours de difficulté variée. Il reflète donc à la fois l’analyse de l’énoncé, le choix d’un algorithme adapté et la correction du code généré. L’évaluation par exécution constitue un critère plus concret qu’une appréciation textuelle, mais la fiabilité comparative reste à nuancer, car les scores recensés sont majoritairement auto-déclarés par les éditeurs et la métrique dépend de l’implémentation, entre taux de réussite et rating Elo.

Le résultat maximal de DeepSeek-V4-Flash-Max signale une possible saturation sur l’implémentation considérée, ce qui réduit la capacité à départager les modèles les plus performants. Le caractère public des problèmes Codeforces crée aussi un risque de contamination par exposition préalable, susceptible de mêler mémorisation et généralisation. Enfin, la portée demeure centrée sur la programmation algorithmique compétitive et ne représente pas, à elle seule, l’ensemble des usages du développement logiciel. Avec 16 modèles et une médiane de 80 %, le classement révèle un niveau globalement élevé, tout en laissant apparaître un avantage net au meilleur modèle.

Sources des scores : llm-stats.