Sarvam-105B
Publié le 6 mars 2026 par Sarvam AI, Sarvam-105B est un LLM open-weights de 105 milliards de paramètres, distribué sous licence Apache 2.0 avec usage commercial autorisé. Son architecture Mixture-of-Experts n’active que 10,3 milliards de paramètres à la fois, avec un routage top-8 parmi…
Publié le 6 mars 2026 par Sarvam AI, Sarvam-105B est un LLM open-weights de 105 milliards de paramètres, distribué sous licence Apache 2.0 avec usage commercial autorisé. Son architecture Mixture-of-Experts n’active que 10,3 milliards de paramètres à la fois, avec un routage top-8 parmi 128 experts.
Le modèle se distingue par un entraînement centré sur le contexte indien et 22 langues indiennes. Il combine une pile d’attention de style MLA, un contexte de 128K avec YaRN scaling et un mode de raisonnement activable. Son positionnement couvre le raisonnement complexe, les tâches agentiques, les mathématiques et le codage.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Sarvam AI |
| Poids | 🟢 Poids ouverts · usage commercial autorisé |
| Licence | Apache 2.0 |
| Date de sortie | 6 mars 2026 |
| Multimodal | non |
| Paramètres | 105 milliards |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| MATH-500 | 98,6 % | 2ᵉ / 31 | llm-stats | Auto-déclaré |
| AIME 2025 | 96,7 % | 14ᵉ / 108 | llm-stats | Auto-déclaré |
| MMLU | 90,6 % | 5ᵉ / 98 | llm-stats | Auto-déclaré |
| HMMT 2025 | 85,8 % | 21ᵉ / 33 | llm-stats | Auto-déclaré |
| HMMT25 | 85,8 % | 10ᵉ / 25 | llm-stats | Auto-déclaré |
| IFEval | 84,8 % | 39ᵉ / 65 | llm-stats | Auto-déclaré |
| MMLU-Pro | 81,7 % | 40ᵉ / 125 | llm-stats | Auto-déclaré |
| GPQA | 78,7 % | 85ᵉ / 219 | llm-stats | Auto-déclaré |
| LiveCodeBench v6 | 71,7 % | 27ᵉ / 53 | llm-stats | Auto-déclaré |
| Arena-Hard v2 | 71,0 % | 7ᵉ / 16 | llm-stats | Auto-déclaré |
| Beyond AIME | 69,1 % | 3ᵉ / 5 | llm-stats | Auto-déclaré |
| BrowseComp | 49,5 % | 44ᵉ / 57 | llm-stats | Auto-déclaré |
| SWE-Bench Verified | 45,0 % | 88ᵉ / 102 | llm-stats | Auto-déclaré |
| Humanity's Last Exam | 11,2 % | 76ᵉ / 89 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Sarvam-105B se classait dans le top 37% des 169 LLM de sa génération sur GPQA, un benchmark consacré aux questions scientifiques complexes. Ce résultat le situe dans la partie supérieure de sa cohorte, sans le placer parmi les modèles les plus performants. Son architecture Mixture-of-Experts limite l’activation à 10,3 milliards de paramètres par requête, malgré une capacité totale de 105 milliards. Elle associe un expert partagé, un équilibrage du routeur sans perte auxiliaire et une sélection top-8 parmi 128 experts. Le contexte de 128K et l’entraînement portant sur 22 langues indiennes renforcent son positionnement sur les contenus longs et le contexte linguistique indien.
Limites et points d'attention. Le classement GPQA reste éloigné du sommet de sa génération, ce qui invite à distinguer son orientation vers le raisonnement complexe de son niveau mesuré sur ce domaine. Le routage entre de nombreux experts et la pile d’attention MLA impliquent aussi une architecture spécialisée pour l’inférence. Le déploiement passe par Hugging Face, SGLang ou vLLM, avec des chat templates et l’option enable_thinking. Sarvam-105B s’adresse principalement aux projets recherchant des poids ouverts, un usage commercial autorisé, un long contexte et une spécialisation sur l’Inde et ses langues.
Sources des données : LLM-Stats (llm-stats.com).