Le cap du million de tokens par seconde est franchi, et l’échelle multinœud suit presque linéairement. AMD pousse ses MI355X au-delà du simple record de débit avec des scores reproductibles chez les partenaires.
AMD Instinct MI355X et MLPerf 6.0 : chiffres clés et périmètre
Gravés en 3 nm, les GPU AMD Instinct MI355X (architecture CDNA 4) totalisent 185 milliards de transistors, prennent en charge FP4/FP6 et embarquent jusqu’à 288 Go de HBM3E. Jusqu’à 10 PFLOPS en FP4/FP6, capacité jusqu’à 520 milliards de paramètres sur un seul GPU et nœud UBB8 en aircooling ou DLC : la plateforme est taillée pour l’inférence à grande échelle.
Dans MLPerf Inference 6.0, AMD dépasse 1 million de tokens/s sur Llama 2 70B (Server et Offline) et GPT-OSS-120B (Offline) via des déploiements multinœud en MI355X. Les partenaires reproduisent les scores à ±4 % (parfois ±1 %), couvrant quatre générations Instinct : MI300X, MI325X, MI350X et MI355X.
Performances, échelle et couverture modèles
Génération vs génération : sur Llama 2 70B Server, un MI355X atteint 100 282 tokens/s, soit 3,1x le débit précédemment soumis sur MI325X. Les gains viennent du couple CDNA 4 + ROCm, de la densité de calcul, des formats FP4/FP6 et de la HBM3E.
Compétitivité simple nœud Llama 2 70B : par rapport à NVIDIA B200, la plateforme MI355X égalise en Offline, délivre 97 % en Server et 119 % en Interactive. Face à B300 : 93 % en Server, 92 % en Offline et 104 % en Interactive.
GPT-OSS-120B (première intégration MLPerf) : 111 % de B200 en Offline et 115 % en Server sur un nœud MI355X. Contre B300, 91 % en Offline et 82 % en Server.
Texte‑vers‑vidéo Wan‑2.2‑t2v (Single Stream, soumission Open mais conforme Closed) : 93 % de B200 et 87 % de B300 en officiel. Post-deadline (non vérifié MLCommons) : 108 % de B200 et parité B300 en Single Stream, 111 %/88 % en Offline.
Scalabilité multinœud Llama 2 70B : de 1 à 11 nœuds, proche de la linéarité. À 11 nœuds/87 MI355X : 1 042 110 tokens/s (Offline), 1 016 380 tokens/s (Server) et 785 522 tokens/s (Interactive). Efficacité : 93 % (Offline), 93 % (Server), 98 % (Interactive).
Scalabilité multinœud GPT‑OSS‑120B : à 12 nœuds/94 MI355X : 1 031 070 tokens/s (Offline) et 900 054 tokens/s (Server), avec 92 % et 93 % d’efficacité respectivement. Deuxième modèle au‑delà de 1 million de tokens/s en multinœud.
Écosystème, hétérogénéité et ROCm
Neuf partenaires soumettent sur Instinct : Cisco, Dell, Giga Computing, HPE, MangoBoost, MiTAC, Oracle, Supermicro, Red Hat. Les résultats MI355X partenaires collent à ±4 % des chiffres AMD, y compris sur des charges inédites, gage de reproductibilité terrain.
Première soumission hétérogène 3 GPU (MI300X + MI325X + MI355X, Dell + MangoBoost) : 141 521 tokens/s (Llama 2 70B Server) et 151 843 tokens/s (Offline). Particularité : MI355X aux USA (Dell), MI300X/MI325X en Corée, démontrant une orchestration inter‑géographies.
ROCm pilote l’exécution FP4, les communications GPU‑GPU pour l’échelle multinœud, la distribution dynamique en environnement hétérogène et l’activation rapide de modèles (Llama, Wan, GPT‑OSS). Résultat : performance, scalabilité et flexibilité sur l’ensemble du portefeuille Instinct.
Feuille de route : MI300X (2023) a posé les bases GenAI, MI325X (2024) a augmenté le calcul et la HBM3E, la série MI350 dont MI355X (2025) ajoute FP4/FP6 et plus de capacité modèle pour l’inférence. En 2026, AMD prévoit les MI400 sous CDNA 5 et la solution rack‑scale Helios.
L’approche combine un saut de débit tangible et une montée en maturité logicielle. La parité ou quasi‑parité en simple nœud, la linéarité en cluster et la reproductibilité multi‑OEM renforcent la crédibilité d’une alternative sérieuse aux déploiements LLM et multimodaux haut volume, avec un intérêt particulier pour la réduction du coût par token via l’efficacité d’échelle.
Source : TechPowerUp
