MemoryAI : Penguin déporte la mémoire des GPU par liaison photonique, à plusieurs mètres

La capacité disponible à quelques millimètres des accélérateurs devient un frein à l’IA agentique. Une nouvelle appliance entend repousser cette limite en donnant accès à un réservoir partagé distant de plusieurs mètres, avec des débits annoncés de classe HBM.

Penguin Solutions (Nasdaq : PENG) présente au SC26, à Chicago, sa MemoryAI Photonic Appliance, qu’il décrit comme la première appliance mémoire photonique de classe HBM du secteur. Elle repose sur la plateforme Marvell Photonic Fabric et s’accompagne du MemoryAI Photonic Memory Module, présenté comme le premier module mémoire à photonique sur silicium (SiPh) conçu pour ce niveau de performances.

MemoryAI vise 57,6 Tb/s entre plusieurs racks

La HBM fournit aux GPU les accès rapides nécessaires à la génération de tokens, mais son implantation au plus près du processeur limite sa capacité : l’espace disponible dans le package et les entrées-sorties du silicium ne sont pas extensibles. Pour les charges d’IA agentique, ces contraintes peuvent créer des goulets d’étranglement et laisser une partie des ressources de calcul sous-utilisée.

L’appliance vise une bande passante totale de 57,6 Tb/s, soit 7,2 To/s, à l’échelle d’une infrastructure répartie sur plusieurs racks. Chaque unité est conçue pour accueillir jusqu’à 16 To de DDR5 RDIMM et 576 Go de HBM3E. Il s’agit de compléter la HBM déjà attachée aux GPU, non de la remplacer.

La photonique sur silicium doit permettre de conserver des débits de classe HBM à plusieurs mètres des accélérateurs, avec une consommation annoncée inférieure à celle des interconnexions cuivre traditionnelles. Penguin prévoit trois modes d’accès au pool : HBM Direct Mode, HBM-DDR5 Cached Mode et DDR5 Direct Mode.

Les applications doivent pouvoir accéder à cette mémoire comme si elle était directement attachée, sans routines d’accès spécialisées ni copie des données. Les CPU pourront eux aussi exploiter le même pool, via une connectivité CXL 3.0 et des cartes réseau photoniques Marvell. Le logiciel de gestion Penguin assurera l’allocation statique ou dynamique aux CPU et GPU selon les charges, ainsi que la gestion de la capacité, des performances et des niveaux de service.

Une extension destinée à l’inférence, attendue en échantillonnage en 2027

Cette appliance s’inscrit dans la Penguin MemoryAI Platform Architecture, une architecture de mémoire désagrégée, hiérarchisée et extensible destinée à l’inférence en production. Elle complète le MemoryAI KV Cache Server, qui déporte le cache KV dans une mémoire accessible par le réseau, et les cartes d’extension SMART CXL, chargées d’augmenter la capacité mémoire des CPU.

L’objectif commun consiste à sortir de la HBM des GPU les données de cache KV réutilisables pour réserver cette mémoire rapide à la génération active de tokens. Penguin entend ainsi permettre une montée en charge de l’inférence sans augmentation proportionnelle du nombre de GPU.

Andy Mills, vice-président du développement produit avancé chez Penguin Solutions, oppose cette approche à un accès passant par un CPU et un réseau lent : le GPU disposerait ici d’un accès direct à une mémoire de grande capacité, partageable de manière transparente avec les CPU. Chez Marvell, Preet Virk, vice-président senior et directeur général de la division Photonic Fabric, met en avant le coût de production des tokens. Il associe ce partage multirack à haute bande passante et faible latence à une meilleure utilisation des accélérateurs, ainsi qu’à une hausse du débit et de la qualité des tokens.

Les premiers échantillons de la MemoryAI Photonic Appliance sont prévus pour le second semestre 2027, auprès de clients sélectionnés. Penguin ne donne pas de date de disponibilité commerciale générale.

Le débit annoncé reste celui de l’appliance entière : il ne décrit ni la bande passante accessible à chaque GPU ni la latence effective des accès distants. Ces deux paramètres seront déterminants pour savoir quelles données pourront réellement quitter la HBM locale sans pénaliser la génération de tokens.

Source : Penguin Solutions

Wael.K

Ravi de vous accueillir sur ma page dédiée aux articles ! Je suis Wael El Kadri, et je suis un ingénieur civil de profession. Mais ma véritable passion est le matériel informatique. J'en suis passionné depuis l'âge de 12 ans, et j'aime apprendre et découvrir de nouvelles choses. En 2016, j'ai créé ma page personnelle sur les réseaux sociaux, baptisée Pause Hardware. C'est là que je partage mes créations en modding, mais aussi divers sujets liés au matériel informatique en général. J'ai également crée le site web, pausehardware.com, en 2019 où je publie des articles plus approfondis sur le matériel à travers des tests et revues et articles de news. J'ai eu l'opportunité de participer en tant qu'exposant à plusieurs événements liés aux jeux vidéo, aux côtés de grandes marques, notamment lors de la Paris Game Week en 2018 et 2019. Je reste constamment en quête de nouvelles manières de partager mes connaissances et ma passion pour le matériel informatique avec d'autres passionnés. Voici quelques publications médiatiques qui ont mis en lumière mon travail : Deux articles dans le magazine Extreme PC, parus dans ses  numéros 1 et 21 : Extreme PC Magazine Issue 21 (adobe.com) Également, un article sur Forbes intitulé "Dix Modèles de PC Incroyables en 2021" sur forbes.com : Ten Incredible PC Mods Of 2021 (forbes.com)
guest
0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x