NVIDIA GeForce RTX 3090
La NVIDIA GeForce RTX 3090 est une carte graphique PCIe occupant trois slots, destinée aux configurations d’inférence locale, c’est-à-dire exécutant les modèles directement sur la machine. Son GPU Ampere GA102, l’architecture NVIDIA de cette génération, réunit 10 496 cœurs CUDA, des…
La NVIDIA GeForce RTX 3090 est une carte graphique PCIe occupant trois slots, destinée aux configurations d’inférence locale, c’est-à-dire exécutant les modèles directement sur la machine. Son GPU Ampere GA102, l’architecture NVIDIA de cette génération, réunit 10 496 cœurs CUDA, des unités de calcul parallèle.
Ses 24 Go de GDDR6X, une mémoire graphique à haut débit, constituent son principal avantage face aux cartes limitées à 16 Go. Avec 936 Go/s de bande passante mémoire, elle conserve un débit élevé en génération. Son TDP de 350 W, l’enveloppe de consommation de référence, impose toutefois une configuration électrique et thermique adaptée. Plus produite, elle cible désormais le marché de l’occasion.
Carte d'identité
| Caractéristique | Valeur |
|---|---|
| Constructeur | NVIDIA |
| Catégorie | Cartes graphiques |
| Statut | Occasion (plus produit) |
| Date de sortie | 24 septembre 2020 |
| Mémoire | 24 Go (GDDR6X) |
| Bande passante mémoire | 936 Go/s |
| Consommation (TDP) | 350 W |
| GPU | Ampere GA102, 10 496 cœurs CUDA |
| Format | Carte PCIe (3 slots) |
| Extensible | Non |
| Prix constaté | 1 050 $ (Best Value GPU (occasion eBay US), 10 juillet 2026) |
| Prix officiel | 1 499 $ (NVIDIA (via TechPowerUp), 24 septembre 2020) |
| Fiche constructeur | specs officielles |
Quels modèles peut-elle faire tourner ?
| Modèle étalon | Verdict |
|---|---|
| 8 B (Llama 3.1 8B, Q4) | ✅ À l'aise |
| 14 B (Qwen3 14B, Q4) | ✅ À l'aise |
| 32 B (Qwen3 32B, Q4) | ✅ À l'aise |
| 70 B (Llama 3.3 70B, Q4) | ❌ Trop grand |
| 120 B MoE (gpt-oss-120B, MXFP4) | ❌ Trop grand |
Estimation mémoire : environ 0,6 Go par milliard de paramètres en Q4, plus le contexte. « Juste » : le modèle se charge mais le contexte utilisable est réduit.
Performances mesurées
| Modèle | Quantisat° | Lecture | Génération | Runtime | Source |
|---|---|---|---|---|---|
| Llama 3.1 8B | Q4_K_M | 3 536 tok/s | 96 tok/s | llama.cpp | LocalScore (10 juillet 2026) |
| Qwen3 8B | Q4_K_XL | 2 572 tok/s | 88 tok/s | llama.cpp | Hardware Corner (llama-bench, contexte 16K) (10 juillet 2026) |
« Lecture » (prompt processing) : vitesse d'ingestion du contexte. « Génération » : vitesse d'écriture de la réponse, celle que l'on perçoit à l'usage. Deux mesures ne sont comparables qu'à modèle, quantisation et runtime identiques.
Efficience
| Métrique | Valeur |
|---|---|
| Génération par tranche de 1 000 $ investis | 91,1 tok/s |
| Génération par watt (TDP) | 0,27 tok/s/W |
Calculée sur la meilleure mesure de génération Llama 3.1 8B de cette fiche, au prix de référence 1 050 $ (Best Value GPU (occasion eBay US), 10 juillet 2026). Indicative : le prix varie et la consommation réelle en inférence est inférieure au TDP.
Notre analyse
Les 24 Go de VRAM, la mémoire directement accessible par le GPU, accueillent confortablement Llama 3.1 8B, Qwen3 14B et Qwen3 32B en Q4, une quantification sur 4 bits réduisant l’espace occupé par les poids. En revanche, Llama 3.3 70B en Q4 et gpt-oss-120B en MXFP4, un format numérique compact sur 4 bits, dépassent cette capacité. La bande passante de 936 Go/s se traduit par une génération rapide pour cette génération de matériel : 95,7 tok/s, soit jetons de texte produits par seconde, avec Llama 3.1 8B Q4_K_M sous llama.cpp, un moteur d’inférence local, et 87,5 tok/s avec Qwen3 8B Q4_K_XL dans llama-bench à 16K de contexte, soit une séquence de 16 000 jetons.
À 1 050 USD constatés en occasion contre 1 499 USD au lancement, son intérêt repose surtout sur l’accès à 24 Go chez NVIDIA. L’efficience atteint 0,27 tok/s par watt sur Llama 3.1 8B, avec le TDP comme référence, ce qui souligne une consommation élevée. La disponibilité se limite à l’occasion. Les faits fournis ne documentent ni le bruit, ni les températures, ni les compatibilités logicielles détaillées. Elle garde surtout du sens pour l’inférence locale de modèles quantifiés jusqu’à 32B.
Sources : specs NVIDIA, LocalScore, Hardware Corner (llama-bench, contexte 16K).