NVIDIA RTX 6000 Ada Generation

La NVIDIA RTX 6000 Ada Generation est une carte graphique workstation destinée aux stations de travail consacrées notamment à l’inférence locale. Son GPU Ada Lovelace AD102, l’architecture de NVIDIA conçue pour cette génération, réunit 18 176 cœurs CUDA, des unités de calcul parallèle, tout en maintenant un TDP, l’enveloppe thermique de référence, de 300 W.

Ses 48 Go de mémoire GDDR6 ECC, une mémoire capable de détecter et corriger certaines erreurs, constituent son principal atout pour charger de grands modèles. Avec 960 Go/s de bande passante mémoire, elle offre un compromis entre capacité et consommation pour des modèles de 30B à 70B quantisés, dont les poids sont compressés afin de réduire l’occupation mémoire.

Carte d'identité

Quels modèles peut-elle faire tourner ?

Estimation mémoire : environ 0,6 Go par milliard de paramètres en Q4, plus le contexte. « Juste » : le modèle se charge mais le contexte utilisable est réduit.

Performances mesurées

« Lecture » (prompt processing) : vitesse d'ingestion du contexte. « Génération » : vitesse d'écriture de la réponse, celle que l'on perçoit à l'usage. Deux mesures ne sont comparables qu'à modèle, quantisation et runtime identiques.

Efficience

Calculée sur la meilleure mesure de génération Llama 3.1 8B de cette fiche, au prix de référence 6 800 $ (VideoCardz (prix officiel NVIDIA au lancement), 3 décembre 2022). Indicative : le prix varie et la consommation réelle en inférence est inférieure au TDP.

Notre analyse

Les 48 Go de VRAM permettent de faire tourner confortablement Llama 3.1 8B, Qwen3 14B et Qwen3 32B en Q4, une quantification sur 4 bits réduisant fortement la taille des poids. Les modèles plus lourds peuvent devenir contraignants malgré cette capacité : gpt-oss-120B en MXFP4, un format numérique compact sur 4 bits, reste trop grand pour la mémoire. La bande passante de 960 Go/s accompagne une génération rapide, mesurée à 121 tokens par seconde sur Llama 3.1 8B en Q4_K_M, une variante de quantification 4 bits, avec llamafile, un outil d’exécution locale de modèles.

Au prix officiel de 6 800 USD au lancement, le positionnement vise davantage une station professionnelle qu’une configuration grand public. L’intérêt économique repose surtout sur les 48 Go de mémoire ECC et sur un TDP contenu de 300 W. L’efficience mesurée atteint 0,40 token par seconde et par watt sur Llama 3.1 8B. Le format PCIe à deux slots facilite l’intégration par rapport à des cartes plus encombrantes, sans préjuger des contraintes du système hôte. La carte est disponible, mais les faits fournis ne documentent ni son niveau sonore ni les éventuelles limites de compatibilité logicielle. Elle prend surtout sens pour l’inférence locale régulière de modèles quantifiés jusqu’à 32B avec une marge confortable, ou de modèles de 30B à 70B lorsque leur compression le permet.

Sources : specs NVIDIA, LocalScore.