Serveurs & accélérateurs
Des plateformes professionnelles à forte densité de calcul pour l’inférence IA locale en rack ou en datacenter
Les serveurs et accélérateurs regroupent des systèmes dédiés à l’inférence IA en datacenter ou en rack professionnel. Leur forte densité de calcul, leur capacité mémoire élevée et leur conception orientée vers les charges soutenues les distinguent des ordinateurs personnels. Cette catégorie couvre aussi bien des serveurs CPU que des accélérateurs spécialisés et des configurations réunissant plusieurs GPU.
Le catalogue rassemble quatre machines signées AMD, Tenstorrent et tiny corp, avec une mémoire allant de 32 à 512 Go selon le modèle et un budget débutant autour de 1 399. Cette amplitude permet d’envisager des modèles et des contextes de tailles très différentes, depuis un accélérateur dédié jusqu’à une tinybox équipée de quatre RTX 5090. Les configurations CPU-only EPYC et Threadripper PRO privilégient une importante mémoire système, tandis que le serveur AMD EPYC 9004 atteint le meilleur débit de génération mesuré de la catégorie, à 28 tok/s.
| Machine | Géné. 8B | Mémoire | Bande passante | TDP | Prix |
|---|---|---|---|---|---|
| Workstation CPU-only AMD Threadripper PRO (512 Go) | n.d. | 512 Go | 204 Go/s | 280 W | n.d. |
| Serveur CPU-only AMD EPYC 9004 (ex. EPYC 9334) | 28 tok/s | 384 Go | 461 Go/s | 210 W | n.d. |
| tinygrad tinybox green v2 (4× RTX 5090) | n.d. | 128 Go | 1 792 Go/s | 2 800 W | n.d. |
| Tenstorrent Blackhole p150a | n.d. | 32 Go | 512 Go/s | 300 W | 1 399 $ |