Une carte graphique lancée avec 24 Go de VRAM vient de produire jusqu’à 382 tokens par seconde sur un modèle de 27 milliards de paramètres. Le résultat repose moins sur la puissance brute que sur une réorganisation poussée de l’inférence.
La RTX 3090 gagne jusqu’à 4,6 fois en débit
Un développeur connu sous le pseudonyme u/iamMess a exécuté Qwen3.8-27B sur une NVIDIA RTX 3090. Le débit initial atteignait 82 tokens par seconde, avant de progresser jusqu’à 382 tokens par seconde avec un moteur d’inférence personnalisé, soit un gain maximal proche de 4,6 fois.
La carte dispose de 24 Go de VRAM et d’une bande passante mémoire de 936,2 Go/s. Cette dernière est déterminante lors de la génération autorégressive : pour chaque nouveau token, le GPU doit relire les poids du modèle, une opération généralement limitée par les transferts mémoire plutôt que par les capacités de calcul.
Le développeur s’est appuyé sur le décodage spéculatif. Un modèle ou mécanisme rapide propose plusieurs tokens à l’avance, puis le modèle principal les vérifie en une seule passe, conserve les prédictions valides et rejette les autres. Le modèle principal gardant le dernier mot, le résultat reste théoriquement identique ; le score communiqué sur un benchmark mathématique demeure ainsi à 96,5 %.
MTP, DFlash2 et recherche dans le contexte
Le réglage du mécanisme MTP intégré à Qwen3.8-27B, chargé de prédire plusieurs tokens, a d’abord porté le débit mono-utilisateur à environ 114 tokens par seconde. Le développeur a ensuite ajouté DFlash2, qui propose sept tokens par itération, ainsi qu’un système de recherche repérant dans la conversation les passages similaires au texte en cours de génération.
Ce dernier mécanisme a fait progresser le débit à 138 tokens par seconde. La vérification, initialement calée sur les sept propositions de DFlash2, a ensuite été étendue à 16 tokens, les emplacements supplémentaires pouvant être remplis par la recherche dans le contexte sans coût de génération additionnel.
Lorsque Qwen3.8-27B reprend un document déjà chargé, environ 15 prédictions sur 16 sont acceptées. Sur une tâche exploitant un document de 25 000 tokens, le débit passe alors de 260 à 382 tokens par seconde. Dans une conversation ordinaire, où le texte se répète moins, il se situe autour de 133 tokens par seconde.
Pour replacer ce débit dans le paysage de l’inférence locale, DeepSeek V4.1-Flash sur quatre NVIDIA DGX Spark illustre le gain possible avec une configuration multi-accélérateurs.
Une fenêtre de contexte portée à 138 696 tokens
Une représentation plus compacte de la mémoire de travail a également permis d’étendre la fenêtre de contexte à 138 696 tokens. Cette méthode double toutefois le temps nécessaire au chargement initial d’un document ; elle convient donc davantage aux scénarios où une même source est importée une fois, puis interrogée à plusieurs reprises.
La vérification sur 16 tokens présente aussi un coût : elle monopolise la moitié des emplacements de requête et consomme 8 000 tokens de contexte. Ce mode reste facultatif et, hors des tâches comportant beaucoup de répétitions, il fonctionne à environ la moitié de la vitesse du MTP seul.
Les 133 tokens par seconde observés en conversation classique restent néanmoins supérieurs aux 82 tokens par seconde du point de départ. Les 382 tokens par seconde ne constituent donc pas un niveau général, mais un pic obtenu lorsque les données déjà présentes rendent les prédictions spéculatives particulièrement efficaces.
Ces chiffres n’ont pas été vérifiés indépendamment et doivent être considérés comme des résultats expérimentaux. Ils illustrent néanmoins le potentiel des optimisations logicielles pour prolonger l’intérêt des GPU à forte bande passante et généreusement dotés en VRAM, même lorsque leur architecture n’est plus récente.
Source : Reddit
