Google Research a dévoilé le 25 mars « TurboQuant », un schéma de compression extrême destiné à désengorger la mémoire des grands modèles en ciblant leur KV-Cache. L’approche promet une réduction de l’empreinte mémoire jusqu’à 1/6 sans perte mesurable de précision sur des tests de long contexte, avec à la clé des accélérations massives en inférence.
Le cœur du problème est connu : les vecteurs de haute dimension saturent la mémoire, et les méthodes de quantification classiques perdent une partie de leur bénéfice à cause des constantes de quantification à stocker par blocs. TurboQuant contourne ce surcoût par une chaîne en deux temps : d’abord une compression principale via « PolarQuant », puis une correction d’erreur résiduelle par « QJL » (Quantized Johnson–Lindenstrauss).
PolarQuant abandonne le repère cartésien au profit d’une représentation polaire. Les vecteurs sont projetés sur une grille circulaire bornée, ce qui évite une normalisation coûteuse et les métadonnées associées qui grevaient les approches traditionnelles. La seconde étape, QJL, applique une correction à 1 bit sur les résidus pour éliminer le biais et préserver la qualité des scores d’attention.
3 bits sur le KV-Cache, précision intacte, et jusqu’à ×8 sur H100
Testé sur des modèles ouverts comme Gemma et Mistral, TurboQuant comprime le KV-Cache à 3 bits sans préentraînement ni affinage et sans dégradation constatée sur des évaluations de long contexte de type « needle-in-a-haystack ». La mémoire occupée chute alors à 1/6. Sur GPU Nvidia H100, une configuration 4 bits affiche jusqu’à ×8 de vitesse par rapport au flot 32 bits non quantifié.
Au-delà des gains de VRAM, l’intérêt est immédiat pour les contextes étendus, la recherche vectorielle et l’inférence batchée, où le KV-Cache constitue un goulet d’étranglement. La promesse de TurboQuant tient surtout au couple compression/correction qui limite drastiquement les métadonnées et stabilise la qualité, là où beaucoup de quantifications fines se cassent les dents sur les cas extrêmes.
Onde de choc sur les valeurs mémoire
La perspective d’une empreinte mémoire divisée et d’une productivité GPU en forte hausse a immédiatement pesé sur les fabricants de puces de stockage et de DRAM en Bourse. À la clôture, Micron reculait de 4 %, Western Digital de 4,4 %, Seagate de 5,6 %, et SanDisk cédait 6,5 %.
Si ces mouvements traduisent surtout une réaction à chaud, la direction est claire : la chaîne de valeur de l’inférence glisse du « plus de mémoire » vers le « mieux compressé ». Pour les hyperscalers, une quantification du KV-Cache à 3–4 bits, plug-and-play et sans réentraînement, signifie plus d’utilisateurs simultanés par GPU, des contextes plus longs sans surdimensionner la VRAM, et une pression moindre sur la bande passante. Les fondeurs et les acteurs mémoire devront compenser par des niches hautes performances, une intégration plus étroite avec les accélérateurs, ou des formats dédiés à ces schémas de compression.
Source : ITHome
