Cohere: Command R (08-2024)

Cohere: Command R (08-2024) est un LLM à poids ouverts publié par Cohere le 30 août 2024. Près de deux ans plus tard, son ancienneté est très importante à l’échelle de l’IA. Le modèle appartient désormais à une génération probablement dépassée. Ses connaissances s’arrêtent au 31 mars 2024, mais sa fenêtre de contexte de 128 000 tokens reste notable.

Son principal attrait tient à son coût très économique, inférieur de 93% à la moyenne des LLM similaires et environ 36.7 fois plus bas que celui des modèles frontière. À sa sortie, il se classait dans le top 62% des LLM de sa génération sur MMLU, soit un positionnement déjà modeste.

Caractéristiques

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles sur chaque dimension évaluée, et à ses voisins de classement.

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 93 % en dessous de la moyenne des LLM similaires, et 36,7 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.6 Sol, Gemini 3.5 Flash).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Notre analyse

Forces. La fenêtre de contexte de 128 000 tokens constitue l’un des principaux atouts de Command R. Ses poids ouverts facilitent aussi son exploitation hors d’une offre exclusivement propriétaire. Le modèle affiche des scores bruts élevés en Ethics, Email Classification et General Knowledge. Ces résultats montrent une bonne maîtrise des tâches de base évaluées, même si les benchmarks concernés sont plafonnés et peu discriminants. Son avantage le plus net reste économique : sa tarification se situe très loin sous la moyenne des modèles comparables et sous celle des modèles frontière.

Limites et points d’attention. Les classements Benchable placent Command R en retrait dans toutes les catégories observées. Coding et Mathematics restent modestes, tandis qu’Instruction Following constitue sa faiblesse la plus marquée. Même ses meilleurs scores bruts correspondent à des places basses et partagées avec plusieurs modèles, ce qui limite leur portée. Son classement MMLU à sa sortie indique qu’il ne figurait déjà pas dans le haut du panier de sa génération. Près de deux ans après sa publication, ses performances sont probablement largement dépassées et ce type d’ancienne version est souvent retiré du catalogue de l’éditeur. La limite de connaissances fixée au 31 mars 2024 renforce ce vieillissement.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Benchable.ai (benchable.ai).