tinygrad tinybox green v2 (4× RTX 5090)
Le tinygrad tinybox green v2 est un serveur on-premises, installé dans les locaux de l’organisation, destiné à l’inférence et au fine-tuning local, l’adaptation d’un modèle sur des données ciblées. Ses 4 × NVIDIA RTX 5090 réunissent 128 Go de VRAM, la mémoire dédiée aux calculs…
Le tinygrad tinybox green v2 est un serveur on-premises, installé dans les locaux de l’organisation, destiné à l’inférence et au fine-tuning local, l’adaptation d’un modèle sur des données ciblées. Ses 4 × NVIDIA RTX 5090 réunissent 128 Go de VRAM, la mémoire dédiée aux calculs graphiques, en GDDR7 (4 × 32 Go).
Face aux stations de travail à GPU unique et aux services d’IA hébergés, cette tour serveur rackable 12U vise les équipes souhaitant servir des modèles 70B+ à plusieurs utilisateurs. Chaque GPU offre 1 792 Go/s de bande passante mémoire. Le CPU AMD EPYC Genoa à 32 cœurs accompagne cet ensemble, dont le TDP, l’enveloppe thermique de référence, atteint 2 800 W.
Carte d'identité
| Caractéristique | Valeur |
|---|---|
| Constructeur | tiny corp |
| Catégorie | Serveurs & accélérateurs |
| Statut | Disponible |
| Date de sortie | 1 juin 2025 |
| Mémoire | 128 Go (GDDR7 (4 × 32 Go)) |
| Bande passante mémoire | 1 792 Go/s |
| Consommation (TDP) | 2 800 W |
| CPU | AMD EPYC (Genoa), 32 cœurs |
| GPU | 4 × NVIDIA RTX 5090 |
| Format | Tour serveur (rackable 12U) |
| Extensible | Oui |
| Fiche constructeur | specs officielles |
Quels modèles peut-elle faire tourner ?
| Modèle étalon | Verdict |
|---|---|
| 8 B (Llama 3.1 8B, Q4) | ✅ À l'aise |
| 14 B (Qwen3 14B, Q4) | ✅ À l'aise |
| 32 B (Qwen3 32B, Q4) | ✅ À l'aise |
| 70 B (Llama 3.3 70B, Q4) | ✅ À l'aise |
| 120 B MoE (gpt-oss-120B, MXFP4) | ✅ À l'aise |
Estimation mémoire : environ 0,6 Go par milliard de paramètres en Q4, plus le contexte. « Juste » : le modèle se charge mais le contexte utilisable est réduit.
Notre analyse
Les 128 Go de VRAM agrégée permettent d’exécuter confortablement Llama 3.1 8B, Qwen3 14B, Qwen3 32B et Llama 3.3 70B en Q4, une quantification ramenant les poids à quatre bits afin de réduire leur empreinte mémoire. La machine prend aussi en charge gpt-oss-120B en MXFP4, un format numérique quatre bits compact, dans une architecture MoE, ou mélange d’experts, qui n’active qu’une partie du modèle pour chaque requête. Les 1 792 Go/s disponibles sur chacune des RTX 5090 favorisent les transferts de poids nécessaires à l’inférence, mais aucune mesure indépendante en tokens par seconde n’est référencée, ce qui empêche de chiffrer la vitesse perçue.
Le rapport performance/prix ne peut pas être évalué sans tarif vérifié, tandis que le TDP de 2 800 W signale des besoins électriques et thermiques importants. Le format rackable 12U l’oriente vers une infrastructure serveur plutôt que vers un bureau, mais aucun niveau sonore n’est documenté. La disponibilité est annoncée, sans précision supplémentaire sur les volumes ou délais. Faute d’informations vérifiées sur la pile logicielle, sa compatibilité et sa facilité de déploiement restent également à confirmer. Ce système a surtout du sens pour le service local de grands modèles à plusieurs utilisateurs et le fine-tuning, lorsque la conservation des données sur site prime sur la sobriété énergétique.
Sources : specs tiny corp.