Les modèles d’IA grossissent plus vite que la mémoire embarquée des accélérateurs. Pour éviter ce mur capacitaire, Groq préparerait un profond changement d’architecture au prix d’un compromis sur la bande passante.
Les Groq LPU abandonneraient la SRAM seule
D’après une source de l’industrie des semi-conducteurs citée par ZDNet Korea, Groq prévoit d’adopter un packaging 3D sur ses prochaines puces. L’entreprise y empilerait de la DRAM plutôt que la SRAM utilisée par sa génération actuelle, avec l’objectif d’augmenter fortement la capacité mémoire.
La différence est structurante. La SRAM offre une latence réduite et une bande passante très élevée, mais sa faible densité occupe rapidement une part importante du silicium. La DRAM est plus lente, mais permet d’intégrer des volumes nettement supérieurs, un avantage décisif à mesure que les modèles et leurs contextes s’étendent.
La technologie 3DS envisagée superposerait plusieurs couches de DRAM dans un même composant vertical, reliées par des TSV, ou Through-Silicon Vias. Le principe rappelle celui de la HBM actuelle et doit réduire l’empreinte au sol ainsi que la consommation face à des boîtiers DRAM traditionnels.
Une architecture actuelle entièrement tournée vers la bande passante
Chaque LPU Groq de génération actuelle embarque 500 Mo de SRAM, délivre 150 To/s de bande passante et atteint 1,20 PFLOP en FP8. Un rack regroupe 256 puces, soit 128 Go de SRAM et 640 To/s de bande passante scale-up.
Ces accélérateurs ont rejoint l’écosystème Vera Rubin de NVIDIA au sein des racks Groq LPX, annoncés plus tôt cette année puis entrés en production complète en août. Associés à des serveurs NVL72, ils auraient atteint un débit record de 3 400 tokens par seconde.
Le passage à la DRAM 3D ne signifie toutefois pas nécessairement la disparition totale de la SRAM. Groq pourrait maintenir des gammes distinctes, l’une optimisée pour la capacité et l’autre pour la bande passante, afin de répondre à des charges d’inférence différentes.
La capacité devient prioritaire pour l’inférence
Ce virage déplacerait le principal avantage des LPU Groq. Une mémoire plus vaste permettrait de conserver davantage de poids et de données près des unités de calcul, mais la DRAM empilée devra compenser son débit inférieur par le packaging, l’interconnexion et une gestion rigoureuse des accès.
Pour NVIDIA, qui utilise ces accélérateurs dans ses plateformes et ses « AI factories », cette évolution ouvrirait une option mieux adaptée aux modèles les plus volumineux. L’enjeu sera de préserver la latence déterministe qui distingue Groq tout en augmentant la capacité, car une mémoire plus dense perdrait une partie de son intérêt si les transferts devenaient le nouveau goulot d’étranglement.
Source : Wccftech
