NVIDIA GeForce RTX 4060 Ti 16 Go
La NVIDIA GeForce RTX 4060 Ti 16 Go est une carte graphique destinée à l’inférence locale, c’est-à-dire à l’exécution de modèles d’IA directement sur la machine. Ses 16 Go de GDDR6, une mémoire graphique dédiée, offrent une capacité appréciable pour un prix officiel de 499 USD au…
La NVIDIA GeForce RTX 4060 Ti 16 Go est une carte graphique destinée à l’inférence locale, c’est-à-dire à l’exécution de modèles d’IA directement sur la machine. Ses 16 Go de GDDR6, une mémoire graphique dédiée, offrent une capacité appréciable pour un prix officiel de 499 USD au lancement.
Basée sur Ada Lovelace AD106, l’architecture GPU de NVIDIA lancée avec cette génération, elle réunit 4 352 cœurs CUDA, des unités de calcul parallèles programmables. Son TDP de 165 W, l’enveloppe de consommation thermique de référence, favorise une configuration relativement sobre. En contrepartie, sa bande passante de 288 Go/s limite la vitesse de génération face aux autres cartes de 16 Go.
Carte d'identité
| Caractéristique | Valeur |
|---|---|
| Constructeur | NVIDIA |
| Catégorie | Cartes graphiques |
| Statut | Disponible |
| Date de sortie | 18 mai 2023 |
| Mémoire | 16 Go (GDDR6) |
| Bande passante mémoire | 288 Go/s |
| Consommation (TDP) | 165 W |
| GPU | Ada Lovelace AD106, 4 352 cœurs CUDA |
| Format | Carte PCIe (2 slots) |
| Extensible | Non |
| Prix officiel | 499 $ (NVIDIA (via TechPowerUp), 18 mai 2023) |
| Fiche constructeur | specs officielles |
Quels modèles peut-elle faire tourner ?
| Modèle étalon | Verdict |
|---|---|
| 8 B (Llama 3.1 8B, Q4) | ✅ À l'aise |
| 14 B (Qwen3 14B, Q4) | ✅ À l'aise |
| 32 B (Qwen3 32B, Q4) | ❌ Trop grand |
| 70 B (Llama 3.3 70B, Q4) | ❌ Trop grand |
| 120 B MoE (gpt-oss-120B, MXFP4) | ❌ Trop grand |
Estimation mémoire : environ 0,6 Go par milliard de paramètres en Q4, plus le contexte. « Juste » : le modèle se charge mais le contexte utilisable est réduit.
Performances mesurées
| Modèle | Quantisat° | Lecture | Génération | Runtime | Source |
|---|---|---|---|---|---|
| Qwen3 8B | Q4_K_XL | 1 481 tok/s | 34 tok/s | llama.cpp | Hardware Corner (llama-bench, contexte 16K) (10 juillet 2026) |
« Lecture » (prompt processing) : vitesse d'ingestion du contexte. « Génération » : vitesse d'écriture de la réponse, celle que l'on perçoit à l'usage. Deux mesures ne sont comparables qu'à modèle, quantisation et runtime identiques.
Efficience
| Métrique | Valeur |
|---|---|
| Génération par tranche de 1 000 $ investis | 68,7 tok/s |
| Génération par watt (TDP) | 0,21 tok/s/W |
Calculée sur la meilleure mesure de génération Qwen3 8B de cette fiche, au prix de référence 499 $ (NVIDIA (via TechPowerUp), 18 mai 2023). Indicative : le prix varie et la consommation réelle en inférence est inférieure au TDP.
Notre analyse
Les 16 Go permettent d’exécuter confortablement Llama 3.1 8B et Qwen3 14B en Q4, une quantification qui réduit la précision des poids à environ 4 bits afin d’économiser la mémoire. En revanche, Qwen3 32B, Llama 3.3 70B et gpt-oss-120B en MXFP4, un format numérique compact, dépassent cette capacité. Ce dernier est un MoE, ou mélange d’experts, une architecture qui répartit le calcul entre plusieurs sous-réseaux spécialisés.
Sur Qwen3 8B en Q4_K_XL avec llama.cpp, un moteur d’inférence local, la carte atteint 34,3 tok/s, soit 34,3 fragments de texte générés par seconde, dans le test Hardware Corner avec un contexte de 16K. La génération paraît donc fluide, mais le bus mémoire de 128 bits et ses 288 Go/s constituent un goulot d’étranglement marqué. L’efficience atteint 0,21 tok/s par watt sur la base du TDP. À 499 USD au lancement, le positionnement privilégie surtout la capacité mémoire et la sobriété plutôt que la vitesse brute. La carte convient ainsi aux modèles de 8 B à 14 B quantifiés. Le statut est disponible, mais les faits fournis ne permettent pas d’évaluer le bruit, la disponibilité commerciale réelle ni les éventuelles contraintes de l’écosystème logiciel.
Sources : specs NVIDIA, Hardware Corner (llama-bench, contexte 16K).