Jamba 1.5 Mini
Jamba 1.5 Mini est un LLM de 52 milliards de paramètres publié par AI21 Labs le 22 août 2024. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont probablement dépassées par celles des modèles récents.
Jamba 1.5 Mini est un LLM de 52 milliards de paramètres publié par AI21 Labs le 22 août 2024. Près de deux ans plus tard, il appartient déjà à une génération ancienne à l’échelle de l’IA, dont les performances sont probablement dépassées par celles des modèles récents.
Sa principale caractéristique est une fenêtre de contexte de 256 144 tokens, associée à des connaissances arrêtées au 5 mars 2024. Le modèle relève de la Jamba Open Model License, mais ses poids ne sont pas ouverts.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | AI21 Labs |
| Poids | 🟢 Poids ouverts · usage commercial restreint (recherche / non commercial) |
| Licence | Jamba Open Model License |
| Date de sortie | 22 août 2024 |
| Connaissances jusqu'à | 2024-03-05 |
| Multimodal | non |
| Paramètres | 52 milliards |
| Fenêtre de contexte | 256 144 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 85,7 % | 13ᵉ / 34 | llm-stats | Auto-déclaré |
| GSM8k | 75,8 % | 40ᵉ / 47 | llm-stats | Auto-déclaré |
| MMLU | 69,7 % | 82ᵉ / 98 | llm-stats | Auto-déclaré |
| TruthfulQA | 54,1 % | 15ᵉ / 18 | llm-stats | Auto-déclaré |
| Arena Hard | 46,1 % | 20ᵉ / 26 | llm-stats | Auto-déclaré |
| MMLU-Pro | 42,5 % | 119ᵉ / 125 | llm-stats | Auto-déclaré |
| Wild Bench | 42,4 % | 8ᵉ / 8 | llm-stats | Auto-déclaré |
| GPQA | 32,3 % | 205ᵉ / 219 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Jamba 1.5 Mini se situait dans le top 85% des 34 LLM de sa génération sur GPQA, un benchmark consacré aux questions scientifiques difficiles. Ce résultat le plaçait dans la majorité supérieure de sa cohorte, sans en faire l’un des modèles dominants. Sa fenêtre de 256 144 tokens constituait son autre caractéristique notable, avec une capacité de contexte particulièrement étendue pour un modèle publié en août 2024.
Limites et points d’attention. Son âge pèse fortement sur sa pertinence actuelle : près de deux ans représentent une période très longue dans l’évolution des LLM. Ses performances sont aujourd’hui probablement largement dépassées, et les modèles de cette période sont souvent retirés du catalogue de leur éditeur. La coupure des connaissances au 5 mars 2024 exclut en outre les événements et informations postérieurs. Enfin, la Jamba Open Model License ne correspond pas à une ouverture des poids, ce qui limite l’accès direct au modèle malgré l’intitulé de la licence.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).