Marvell Structera X : six canaux mémoire CXL 3.2 pour accélérer l’inférence IA

Jusqu’à 9 To de mémoire pourront être rattachés à un même contrôleur, alors que les modèles d’IA saturent déjà les architectures serveur classiques. Avec ses nouvelles puces, Marvell veut repousser cette limite tout en partageant la capacité entre quatre hôtes.

Les Structera X 3406 et X 3506 constituent la deuxième génération d’extenseurs mémoire CXL du fabricant. Destinés aux infrastructures cloud, aux entreprises et aux centres de données hyperscale, ils ciblent surtout l’inférence de grands modèles de langage et les systèmes de recommandation DLRM, deux charges fortement contraintes par la mémoire.

Marvell Structera X passe à six canaux mémoire

Premiers contrôleurs CXL 3.2 annoncés avec six canaux mémoire, les Structera X 3406 et X 3506 en offrent 50 % de plus que la génération précédente. Le X 3406 gère jusqu’à 18 emplacements DDR4 RDIMM pour 9 To, tandis que le X 3506 accepte 12 DDR5 RDIMM pour 6 To.

La connexion à quatre hôtes permet de partager cette capacité et fournit jusqu’à 256 Go/s via une interface PCIe 6.0 x16. Marvell entend ainsi améliorer le taux d’utilisation de la mémoire à l’échelle des clusters IA, plutôt que de laisser des volumes importants immobilisés sur certains serveurs.

Le moteur de compression et de décompression LZ4 atteint pour sa part 250 Go/s, soit un débit cinq fois supérieur à celui de la première génération. Selon la nature des données, Marvell revendique une capacité mémoire effective multipliée par deux à trois.

KV-cache, latence et tables d’embeddings en ligne de mire

Lors du service d’un LLM, la capacité du KV-cache influe directement sur le délai avant le premier token, le débit et l’utilisation des accélérateurs. À longueur de contexte équivalente, les nouveaux contrôleurs offriraient un TTFT réduit de 40 à 50 % par rapport aux Structera X 2404 et X 2504. À latence identique, ils pourraient aussi prendre en charge des fenêtres de contexte jusqu’à deux fois plus longues.

Pour les charges DLRM, Marvell annonce jusqu’à deux fois plus de requêtes par seconde et une capacité effective des tables d’embeddings multipliée par deux à trois par contrôleur. Ces résultats restent des projections du constructeur, sans plateforme ni protocole de mesure détaillés à ce stade.

Fiabilité et sécurité post-quantique

La fonction StructGuard apporte des mécanismes RAS avancés et une correction d’erreurs destinée à maintenir le service en cas de défaillance de composants DRAM. Le volet sécurité réunit la cryptographie post-quantique, Caliptra 2.0, CXL IDE et le chiffrement mémoire AES-256.

Marvell conserve la pile logicielle et les intégrations développées pour les X 2404 et X 2504 afin d’accélérer l’adoption. AMD souligne notamment l’association possible avec les processeurs EPYC, tandis qu’Arm met en avant l’arrivée de CXL 3.2, de l’extension mémoire et de la compression dans son écosystème cloud.

Un écosystème CXL déjà largement mobilisé

Alibaba collabore avec Marvell sur des architectures mémoire adaptées aux infrastructures cloud et IA de grande échelle. Samsung Electronics et SK hynix travaillent de leur côté à la validation de leurs mémoires DDR avec Structera, en vue de systèmes désagrégés plus flexibles.

Le catalogue CXL de Marvell couvre désormais l’extension directe avec Structera X, l’accélération proche de la mémoire avec Structera A et le PFMA, ou Photonic Fabric Memory Appliance, conçu pour mutualiser la mémoire CXL à l’échelle d’un pod. L’objectif consiste à couvrir aussi bien les configurations attachées directement que les pools de mémoire désagrégés.

Jim Handy, directeur général d’Objective Analysis, estime que CXL gagne du terrain dans l’IA grâce à sa bande passante et aux fortes capacités accessibles. Il relève aussi l’intérêt économique consistant à réemployer des DIMM DDR4 dans des systèmes DDR5, dans un contexte de pénurie et de prix élevés, avant une généralisation progressive des pools réduisant la mémoire inutilisée.

Les Structera X 3406 et X 3506 doivent être proposés en échantillons au premier trimestre 2027. Cette échéance encore lointaine laisse le temps à CXL 3.2 et à PCIe 6.0 de gagner en maturité, mais elle place déjà la compression et le partage multi-hôte au centre de la prochaine bataille : alimenter les accélérateurs sans multiplier mécaniquement les serveurs et les barrettes les plus coûteuses.

Source : Marvell

Wael.K

Ravi de vous accueillir sur ma page dédiée aux articles ! Je suis Wael El Kadri, et je suis un ingénieur civil de profession. Mais ma véritable passion est le matériel informatique. J'en suis passionné depuis l'âge de 12 ans, et j'aime apprendre et découvrir de nouvelles choses. En 2016, j'ai créé ma page personnelle sur les réseaux sociaux, baptisée Pause Hardware. C'est là que je partage mes créations en modding, mais aussi divers sujets liés au matériel informatique en général. J'ai également crée le site web, pausehardware.com, en 2019 où je publie des articles plus approfondis sur le matériel à travers des tests et revues et articles de news. J'ai eu l'opportunité de participer en tant qu'exposant à plusieurs événements liés aux jeux vidéo, aux côtés de grandes marques, notamment lors de la Paris Game Week en 2018 et 2019. Je reste constamment en quête de nouvelles manières de partager mes connaissances et ma passion pour le matériel informatique avec d'autres passionnés. Voici quelques publications médiatiques qui ont mis en lumière mon travail : Deux articles dans le magazine Extreme PC, parus dans ses  numéros 1 et 21 : Extreme PC Magazine Issue 21 (adobe.com) Également, un article sur Forbes intitulé "Dix Modèles de PC Incroyables en 2021" sur forbes.com : Ten Incredible PC Mods Of 2021 (forbes.com)
guest
0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x