La hiérarchie mémoire de l’IA bouge plus vite que prévu. Six mois après le lancement du chantier en février, une première base ouverte existe déjà pour rapprocher davantage de capacité mémoire des accélérateurs d’inférence.
Une première base commune pour le High Bandwidth Flash
Sandisk Corporation et SK hynix Inc. ont publié via l’Open Compute Project la première spécification technique du HBF, pour High Bandwidth Flash. Les deux groupes en sont les principaux contributeurs dans le cadre du workstream HBF lancé au sein de l’OCP.
Le vrai enjeu se lit déjà dans la montée en puissance de la mémoire HBM chez les mêmes acteurs, et c’est ce qui éclaire la suite avec la prochaine génération HBM4 et ses usages.
Google et Tenstorrent ont rejoint le consortium pendant le processus de standardisation. Leur rôle a notamment porté sur la validation technologique et sur l’établissement du standard.
L’objectif est clair : fournir aux concepteurs de systèmes d’inférence IA et d’accélérateurs un cadre technique commun pour intégrer cette mémoire lorsque la capacité près du calcul et la bande passante deviennent des leviers directs sur la consommation, les performances et le coût total de possession.
Ce que couvre la spécification OCP
Le document définit l’interface système, les aspects électriques et plusieurs lignes directrices techniques pour concevoir des plateformes capables d’exploiter le HBF. Il inclut aussi des attentes de performance de base, l’interface hôte xPU-HBF, des recommandations sur la fiabilité et le packaging d’un empilement de dies HBF, ainsi qu’un guide logiciel pour les opérations de lecture et d’écriture.
Sandisk et SK hynix positionnent cette publication comme l’un des premiers standards techniques de ce type dans l’industrie de la mémoire et du stockage. L’idée est aussi de permettre au HBF de coexister avec la High Bandwidth Memory dans les architectures IA, plutôt que de la remplacer frontalement.
Pourquoi cette mémoire intéresse l’inférence
Les systèmes modernes d’inférence ont besoin d’une mémoire à forte bande passante placée au plus près des cœurs de calcul. En parallèle, les grands modèles de langage et les nouvelles charges IA augmentent la demande en capacité locale. Le HBF est présenté comme une réponse à cette double contrainte, avec une promesse de densité et de persistance issues de la flash, mais orientées vers des débits proches du calcul pour améliorer interactivité et throughput lors du serving.
Une stratégie d’ouverture pour imposer un standard de fait
Le choix de l’OCP rend la spécification accessible à l’ensemble de l’industrie. Sandisk et SK hynix cherchent manifestement à installer le HBF comme standard de fait sur un segment encore en formation, celui du stockage et de la mémoire proches du calcul pour l’IA.
Cette approche doit aider à faire émerger rapidement un écosystème, à rendre l’adoption plus lisible pour les clients et à accélérer à la fois l’expansion du marché et la maturité technique. Dans un contexte où l’inférence devient un problème d’économie par token autant que de performance brute, la publication précoce d’une interface ouverte est loin d’être anodine.
Sandisk profitera du Future of Memory and Storage Conference à Santa Clara pour pousser le sujet. Un keynote intitulé NAND – The Versatile & Scalable Foundation of the AI Era est prévu le mercredi 5 août à 11 h 40 PT, avec Jim Elliott, Chief Revenue Officer, Khurram Ismail, Chief Product Officer, et Alper Ilkbahar, Chief Technology Officer. Le jeudi 6 août à 9 h 45 PT, Sandisk, SK hynix et Google participeront aussi à une table ronde Breaking the Memory Wall with High Bandwidth Flash, animée par Thomas Coughlin, President of Coughlin Associates, en salle D.
Si le HBF parvient réellement à se placer entre HBM et stockage flash traditionnel, il pourrait ouvrir une nouvelle couche mémoire dédiée à l’inférence de masse. Pour les hyperscalers comme pour les concepteurs d’accélérateurs, l’enjeu n’est pas seulement technique : il s’agit de mieux équilibrer bande passante, capacité, persistance et coût dans des infrastructures où chaque watt et chaque token comptent.
Source : TechPowerUp
