Des millions de processeurs équipent déjà les centres de données de Meta, mais le partenariat change désormais d’échelle. L’hyperscaler prépare avec AMD une infrastructure IA de plusieurs gigawatts, des serveurs EPYC Venice aux futurs accélérateurs Instinct MI500.
AMD EPYC au cœur de l’infrastructure de Meta
Meta a déployé plusieurs générations de processeurs AMD EPYC à plusieurs millions d’exemplaires. L’entreprise devient aussi un client de référence pour les EPYC de 6e génération, nom de code Venice, fondés sur l’architecture Zen 6.
Ces CPU constituent notamment la base de l’infrastructure du nouvel agent personnel Muse. Meta participe par ailleurs à la définition de futurs processeurs AMD, dont Verano, une gamme pensée pour les charges d’IA agentique.
La coopération s’étend aux systèmes Helios à l’échelle du rack, dont les premiers exemplaires sont en cours de déploiement chez Meta. Lisa Su évoque une infrastructure de plusieurs gigawatts et une collaboration portant simultanément sur le silicium, les logiciels et les systèmes.
Helios, MI350X et MI500 élargissent le partenariat
Les GPU AMD Instinct sont déjà exploités en production pour l’entraînement, le classement et les moteurs de recommandation. Meta intervient comme client précoce dans la définition des Instinct MI450 et doit recevoir un accélérateur personnalisé, optimisé pour ses propres charges.
Cette feuille de route doit ensuite s’étendre aux Instinct MI500 et aux prochaines générations de solutions rack-scale. Meta conserve toutefois une flotte hétérogène réunissant des GPU NVIDIA, des GPU AMD et ses accélérateurs propriétaires MTIA, afin de contenir les coûts et de limiter sa dépendance à un fournisseur unique.
Le principal obstacle demeure l’héritage logiciel de CUDA. Pour y répondre, les deux sociétés ont optimisé de grands modèles de recommandation sur Instinct MI350X et reversé leurs travaux aux projets PyTorch, Triton et ROCm.
Dans une étude comparant le MI350X au NVIDIA B200, Meta souligne que le GPU AMD dispose d’une capacité HBM 1,6 fois supérieure. Plutôt qu’un portage direct, l’entreprise adapte les modèles et les recettes logicielles à chaque accélérateur, avec un modèle analytique sélectionnant les noyaux adaptés sans phase de chauffe.
Cette méthode améliore jusqu’à 1,5 fois le débit d’entraînement de bout en bout par rapport au portage initial. Meta indique qu’il s’agit du premier retour d’un hyperscaler sur la mise en production de GPU AMD pour l’entraînement à grande échelle.
Muse Spark Open atteint 2 197 tokens par seconde
AMD propose dès le premier jour la prise en charge de Muse Spark Open sur Instinct, tandis que Muse Glimmer arrive sur les PC Ryzen AI et les GPU Radeon. Muse Spark Open est un modèle MoE de 816 milliards de paramètres, dont 42 milliards actifs, avec une fenêtre de contexte de 1 million de tokens.
Le modèle fonctionne sur un seul nœud composé de 8 MI350X avec vLLM, en BF16, MXFP4 et FP8. Un mode BF16 convertit également les experts en MXFP4 lors du chargement.
Les optimisations du décodage combinent un prologue d’attention fusionné, la finalisation MoE, les couches à fenêtre glissante sur l’attention paginée AITER et environ 180 lancements de noyaux en moins par étape. Le checkpoint MXFP4 passe ainsi de 206 à 350 tokens/s avec 4 requêtes simultanées, puis de 719 à 1 180 tokens/s avec 32 requêtes.
Le parallélisme des experts, activé avec --enable-expert-parallel, répartit 32 des 256 experts sur chaque GPU. Il ajoute 7 à 20 % de débit entre 32 et 128 requêtes simultanées, réduit d’environ 24 % le délai avant le premier token et atteint 2 197 tokens/s avec 128 requêtes.
Une table AITER optimisée dirige les petits lots de décodage vers un noyau assembleur MXFP4 en une étape qui évite le tri. À requête unique, les performances progressent de 98 à 114 tokens/s, soit 16 %, en TP8 et sans modification du code, la table étant intégrée à l’image.
Le décodage spéculatif DSpark utilise pour la vérification le planificateur d’attention 3D d’AITER dédié aux requêtes courtes. L’insertion du cache KV du modèle de brouillon reste hors de son graphe compilé. Le débit atteint alors 199 tokens/s sur un seul flux, soit 72 % de mieux qu’en TP8 avec la table optimisée, puis 47 % à 2 requêtes, 31 % à 4 et encore 6 % à 32.
La précision sur GSM8K reste comprise entre 94,4 et 95,5 % pour toutes les configurations MXFP4, qu’elles utilisent TP, EP, la table optimisée ou DSpark. AMD recommande TP8 avec EP8 et DSpark jusqu’à environ 64 requêtes simultanées, TP8 avec DSpark pour un utilisateur unique, puis TP8 avec EP8 au-delà.
L’intérêt stratégique dépasse donc la seule fourniture de puces. En associant EPYC, Helios, Instinct et une pile ROCm mieux intégrée à PyTorch et Triton, AMD cherche à devenir une véritable seconde plateforme pour les hyperscalers, tandis que Meta obtient un levier concret face au poids technique et commercial de l’écosystème NVIDIA.
Source : Wccftech
