La mémoire des GPU atteint vite ses limites dès qu’il faut faire tourner de très gros modèles. Micron explore donc une voie intermédiaire qui pourrait changer l’équation économique de l’inférence en ajoutant des centaines de gigaoctets de flash bien plus près du processeur graphique.
Une couche intermédiaire entre HBM et stockage classique
Micron étudierait des modules NAND Flash à forte endurance placés au plus près du GPU, au lieu de rester relégués dans le pool de stockage derrière plusieurs protocoles. L’idée est de cibler les charges qui n’exigent ni la latence ni la bande passante de la HBM ou de la DRAM classique.
Cette architecture, désignée en interne comme near-GPU NAND, servirait de compromis entre densité et endurance. Le principe n’est pas de maximiser la capacité comme avec de la NAND TLC ou QLC conventionnelle, mais d’améliorer les performances d’E/S, la bande passante et les temps de lecture.
Concrètement, un GPU pourrait accéder à un espace de stockage de plusieurs centaines de gigaoctets directement sur le package ou le PCB, à la manière de ce que font déjà des mémoires comme la HBM, la GDDR7 ou la LPDDR6. Cette couche se placerait entre la mémoire vidéo et le stockage système, avec un rôle de tampon très rapide particulièrement adapté à l’inférence de LLM massifs.
Le near-GPU NAND pour desserrer la contrainte mémoire
Dans ce scénario, les grands modèles ne seraient plus strictement limités par la quantité de mémoire embarquée. Ils pourraient tourner sur des configurations avec moins de GPU, en s’appuyant sur davantage de paliers de mémoire et de stockage pour absorber la taille nécessaire à l’inférence.
L’autre avantage est évidemment le coût. Une telle NAND serait nettement moins onéreuse que la HBM ou la DRAM traditionnelle, avec une capacité ajustable selon les spécifications du système. Pour les accélérateurs IA, cela ouvrirait la voie à des configurations plus denses sans explosion immédiate de la facture mémoire.
Micron n’est pas seul sur ce terrain
Le concept ne sort pas de nulle part. SK hynix et Sandisk ont déjà travaillé à la standardisation du High-Bandwidth Flash, ou HBF, pensé comme une extension de l’espace mémoire HBM d’un GPU en rapprochant la NAND et en misant sur des cellules plus endurantes.
Le verrou reste le même pour tous les acteurs engagés sur cette piste : réduire l’écart de bande passante et d’endurance avec la mémoire traditionnelle pour faire de cette flash proche du GPU un complément réellement utile à la HBM. Si ce palier intermédiaire devient viable, il pourrait surtout redéfinir l’équilibre entre coût, capacité et performances dans les serveurs dédiés à l’inférence IA.
Source : DigiTimes
