Serveur CPU-only AMD EPYC 9004 (ex. EPYC 9334)

Ce serveur CPU-only, c’est-à-dire dépourvu de processeur graphique, repose sur la plateforme AMD EPYC 9004. La configuration testée associe un EPYC 9334 à 32 cœurs Zen 4, l’architecture processeur d’AMD, et 384 Go de mémoire DDR5 ECC, une mémoire rapide capable de corriger certaines erreurs.

Destinée aux infrastructures existantes en rack ou en tour, la machine privilégie la capacité mémoire plutôt que l’accélération GPU. Ses 12 canaux mémoire par socket fournissent 461 Go/s de bande passante. En inférence locale, soit l’exécution d’un modèle entraîné, elle atteint 28 tok/s, des unités de texte générées par seconde, sur DeepSeek-R1 8B quantisé.

Carte d'identité

Quels modèles peut-elle faire tourner ?

Estimation mémoire : environ 0,6 Go par milliard de paramètres en Q4, plus le contexte. « Juste » : le modèle se charge mais le contexte utilisable est réduit.

Performances mesurées

« Lecture » (prompt processing) : vitesse d'ingestion du contexte. « Génération » : vitesse d'écriture de la réponse, celle que l'on perçoit à l'usage. Deux mesures ne sont comparables qu'à modèle, quantisation et runtime identiques.

Efficience

Calculée sur la meilleure mesure de génération DeepSeek-R1 8B de cette fiche. Indicative : le prix varie et la consommation réelle en inférence est inférieure au TDP.

Notre analyse

Les 384 Go de mémoire permettent d’héberger confortablement des modèles 8B, 14B, 32B et 70B en Q4, une quantification qui réduit les poids à environ quatre bits. La sélection inclut aussi gpt-oss-120B en MXFP4, un format numérique compact à quatre bits adapté aux modèles MoE, qui n’activent qu’une partie de leurs paramètres à chaque calcul. Avec 461 Go/s de bande passante, la configuration testée produit 28 tok/s sur DeepSeek-R1 8B Q4_K_M et 26 tok/s sur gpt-oss-20B en FP16, un format à virgule flottante sur 16 bits. Ces mesures utilisent llama.cpp, un moteur d’inférence optimisé, sur CPU avec 24 threads, des flux d’exécution parallèles.

Le rapport performance-prix ne peut pas être chiffré, aucun tarif n’étant fourni. L’efficacité mesurée atteint 0,13 tok/s par watt sur DeepSeek-R1 8B, rapportée au TDP de 210 W, l’enveloppe thermique nominale du processeur. L’absence de GPU écarte les accélérateurs spécialisés et concentre l’écosystème sur les moteurs compatibles CPU. Le bruit n’est pas documenté et dépendra du châssis rack ou tour ainsi que de son refroidissement. Disponible, cette plateforme prend surtout son sens pour réutiliser une infrastructure SP5, le socket serveur d’AMD, exécuter de grands modèles en mémoire et servir une inférence locale sans GPU.

Sources : specs AMD (plateforme), Leaseweb (dev.to).