NVIDIA Jetson AGX Thor (Developer Kit)

Le NVIDIA Jetson AGX Thor Developer Kit est une station IA embarquée destinée à la robotique et à l’IA physique. Successeur de l’AGX Orin, il associe un GPU Blackwell, l’architecture graphique de NVIDIA conçue pour les calculs d’IA récents, à 128 Go de mémoire LPDDR5X unifiée, une mémoire partagée entre processeur et GPU.

Environ 120 Go restent exploitables par les modèles, avec une bande passante de 273 Go/s. Cette capacité place la machine parmi les solutions capables d’exécuter localement des modèles volumineux, jusqu’à gpt-oss-120B. Son enveloppe configurable de 40 à 130 W et son SSD de 1 To correspondent davantage à un kit de développement embarqué qu’à une station de travail classique.

Carte d'identité

Quels modèles peut-elle faire tourner ?

Estimation mémoire : environ 0,6 Go par milliard de paramètres en Q4, plus le contexte. « Juste » : le modèle se charge mais le contexte utilisable est réduit.

Performances mesurées

« Lecture » (prompt processing) : vitesse d'ingestion du contexte. « Génération » : vitesse d'écriture de la réponse, celle que l'on perçoit à l'usage. Deux mesures ne sont comparables qu'à modèle, quantisation et runtime identiques.

Notre analyse

Les quelque 120 Go exploitables permettent de charger confortablement des modèles de 8B à 70B en Q4, une quantification sur 4 bits qui réduit fortement l’empreinte mémoire, ainsi que gpt-oss-120B en MXFP4, un format numérique 4 bits optimisé pour l’IA. Ce dernier est un MoE, ou mélange d’experts, une architecture qui n’active qu’une partie du réseau à chaque calcul. Sous llama.cpp, un moteur d’inférence local, avec CUDA, l’interface de calcul GPU de NVIDIA, il atteint 42 tok/s. gpt-oss-20B monte à 57 tok/s, tandis que Qwen3 Coder 30B-A3B atteint 43 tok/s. Ces débits autorisent une génération interactive, même si la bande passante de 273 Go/s reste déterminante pour les grands modèles.

À 3 499 USD, l’intérêt économique repose surtout sur la combinaison d’une grande mémoire unifiée et d’un format embarqué. Rapportées au TDP maximal de 130 W, les mesures correspondent théoriquement à environ 0,32 à 0,44 tok/s/W, sans constituer une mesure électrique réelle puisque la puissance relevée pendant les tests n’est pas fournie. Le processeur Arm et CUDA structurent l’écosystème logiciel, ce qui impose de vérifier la compatibilité des outils visés. Le niveau sonore n’est pas documenté. Le kit est indiqué comme disponible et prend surtout sens pour le prototypage robotique, l’IA physique et l’inférence locale de grands modèles sous contrainte énergétique.

Sources : specs NVIDIA, JetsonHacks (DGX Spark vs AGX Thor).