Apple Mac Studio (M3 Ultra)

L’Apple Mac Studio (M3 Ultra) est un desktop compact de 19,7 × 19,7 cm destiné aux usages exigeants d’inférence locale, c’est-à-dire l’exécution de modèles d’IA directement sur la machine. Il se distingue des configurations grand public classiques par ses 512 Go de mémoire unifiée, une mémoire partagée entre le CPU et le GPU, dont environ 448 Go sont exploitables par le modèle.

Son GPU à 80 cœurs profite d’une bande passante mémoire de 819 Go/s, un élément déterminant pour charger et parcourir rapidement de grands modèles. Avec un TDP de 270 W, l’enveloppe de consommation thermique de référence, cette configuration vise notamment les modèles quantifiés de plusieurs centaines de milliards de paramètres.

Carte d'identité

Quels modèles peut-elle faire tourner ?

Estimation mémoire : environ 0,6 Go par milliard de paramètres en Q4, plus le contexte. « Juste » : le modèle se charge mais le contexte utilisable est réduit.

Performances mesurées

« Lecture » (prompt processing) : vitesse d'ingestion du contexte. « Génération » : vitesse d'écriture de la réponse, celle que l'on perçoit à l'usage. Deux mesures ne sont comparables qu'à modèle, quantisation et runtime identiques.

Efficience

Calculée sur la meilleure mesure de génération Llama 3.1 8B de cette fiche, au prix de référence 3 999 $ (Apple (config de base 96 Go), 12 mars 2025). Indicative : le prix varie et la consommation réelle en inférence est inférieure au TDP.

Notre analyse

La capacité réellement disponible permet de faire tourner confortablement des modèles allant de Llama 3.1 8B à Llama 3.3 70B en Q4, une quantification qui réduit la précision des poids pour diminuer l’usage mémoire. Le Mac Studio accepte aussi gpt-oss-120B en MXFP4, un format numérique compact, avec une architecture MoE, ou mixture of experts, qui n’active qu’une partie du modèle à chaque calcul. Sous llama.cpp avec Metal, l’interface de calcul accéléré d’Apple, Llama 3.1 8B atteint 105 tok/s, soit 105 unités de texte générées par seconde, contre 17 tok/s pour Llama 3.3 70B. Ce dernier débit reste adapté à une génération interactive, mais illustre le coût des modèles plus volumineux.

L’efficience mesurée atteint 0,39 tok/s par watt sur Llama 3.1 8B, rapportée au TDP. Le prix officiel passe de 3 999 USD avec 96 Go à 9 499 USD avec 512 Go : l’intérêt économique repose donc surtout sur la capacité mémoire exceptionnelle, plutôt que sur un faible coût d’entrée. Les résultats fournis concernent llama.cpp et Metal, sans données permettant d’évaluer d’autres écosystèmes logiciels. Le niveau sonore n’est pas documenté. La machine est disponible et prend surtout sens pour l’inférence locale de très grands modèles quantifiés dans un format de bureau compact.

Sources : specs Apple, llama.cpp — benchmarks Apple Silicon.