Grok-2 mini
Grok-2 mini est un LLM propriétaire lancé par xAI le 13 août 2024. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont probablement dépassées par celles des modèles plus récents.
Grok-2 mini est un LLM propriétaire lancé par xAI le 13 août 2024. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont probablement dépassées par celles des modèles plus récents.
Cette déclinaison dispose d’une fenêtre de contexte de 32 768 tokens et de connaissances arrêtées au 31 mai 2024. Ses poids ne sont pas ouverts. À sa sortie, son résultat sur GPQA le plaçait dans le haut du classement des LLM publiés au cours des 18 mois précédents.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | xAI |
| Poids | 🔒 Propriétaire |
| Date de sortie | 13 août 2024 |
| Multimodal | oui |
| Fenêtre de contexte | 32 768 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| DocVQA | 93,2 % | 13ᵉ / 26 | llm-stats | Auto-déclaré |
| MMLU | 86,2 % | 30ᵉ / 98 | llm-stats | Auto-déclaré |
| HumanEval | 85,7 % | 32ᵉ / 65 | llm-stats | Auto-déclaré |
| MATH | 73,0 % | 32ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Pro | 72,0 % | 74ᵉ / 125 | llm-stats | Auto-déclaré |
| MathVista | 68,1 % | 17ᵉ / 38 | llm-stats | Auto-déclaré |
| MMMU | 63,2 % | 38ᵉ / 61 | llm-stats | Auto-déclaré |
| GPQA | 51,0 % | 158ᵉ / 219 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À son lancement, Grok-2 mini se situait dans le top 26 % sur GPQA parmi les 27 LLM de sa génération. Ce classement le plaçait dans la partie haute de son époque, sans atteindre le groupe de tête le plus restreint. Sa fenêtre de 32 768 tokens constituait par ailleurs une capacité de contexte substantielle pour un modèle sorti en août 2024. L’arrêt des connaissances au 31 mai 2024 limitait aussi le décalage initial entre les informations intégrées et la date de commercialisation.
Limites et points d’attention. Son ancienneté est désormais très importante dans un secteur renouvelé rapidement. Ses performances sont probablement largement dépassées par celles des modèles actuels, et les références de cette génération sont souvent retirées du catalogue de leur éditeur. La coupure des connaissances exclut les événements postérieurs au 31 mai 2024. Enfin, sa licence propriétaire et ses poids non ouverts empêchent de le traiter comme un modèle librement disponible pour inspection ou déploiement autonome.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).