Un modèle de 74 milliards de paramètres peut désormais tenir dans 24 Go de mémoire grâce à une quantification sur 2 bits. Avec cette nouvelle salve Nemotron, NVIDIA veut déplacer une partie des agents IA du cloud vers les machines locales.
NVIDIA Nemotron 3.5 Super VL vise les agents permanents
Pièce maîtresse de la gamme, Nemotron 3.5 Super VL est un modèle à poids ouverts de 120 milliards de paramètres destiné aux agents spécialisés fonctionnant en continu. NVIDIA revendique une précision de premier plan dans le suivi d’instructions, l’utilisation d’outils, la compréhension visuelle et l’exécution de processus métier en plusieurs étapes.
Le constructeur affirme obtenir des performances comparables à celles de son plus grand modèle de raisonnement avec environ un cinquième de ses paramètres. Super VL serait également cinq fois plus rapide que son concurrent direct parmi les modèles agentiques ouverts de cette catégorie, une affirmation qui demandera toutefois des mesures indépendantes.
Ses capacités visuelles couvrent la reconnaissance optique de caractères, les tableaux, les graphiques et les données structurées présentes dans des pages web ou des fichiers PDF. Le modèle peut ainsi extraire du texte, interpréter un graphe et produire une analyse sans répartir le travail entre plusieurs systèmes spécialisés.
NVIDIA indique avoir entraîné Super VL sur plus de 25 000 milliards de tokens, complétés par environ 4 millions d’échantillons de post-entraînement. Les poids, jeux de données et recettes d’entraînement sont fournis, tandis que les entreprises peuvent adapter le modèle à leurs données, outils et processus propriétaires avant de le déployer sur l’infrastructure de leur choix.
Le modèle couvre l’écosystème matériel NVIDIA, notamment DGX Spark, DGX Station, Jetson et les environnements cloud. Une version conditionnée sous forme de microservice NVIDIA NIM doit faciliter son intégration en production.
Nemotron Bolt ramène les charges agentiques en local
74 milliards de paramètres dans 24 Go
Nemotron 3.5 Bolt 74B-A9B 24GB reprend l’architecture de Super VL sous la forme d’un modèle hybride mixture-of-experts. Il totalise 74 milliards de paramètres, mais n’en active que 9 milliards à chaque étape.
Sa quantification sur 2 bits lui permet de tenir dans 24 Go de mémoire. NVIDIA le destine aux tâches locales demandant du raisonnement en plusieurs étapes, de la navigation web ou des appels d’outils, notamment la recherche de composants PC ainsi que l’écriture et le débogage de code.
Ces traitements peuvent rester sur la machine, sans transfert vers le cloud. Le modèle est particulièrement optimisé pour NVIDIA RTX Spark et DGX Spark 64GB, et distribué sur Hugging Face avec une prise en charge de vLLM, Ollama, LM Studio et llama.cpp.
Une déclinaison de 4 Go pour la voix et les appareils
Plus compact, Nemotron 3.5 Bolt E4B 4GB cible les agents physiques et conversationnels rapides. Il doit fonctionner sur GeForce RTX, Jetson ainsi que sur les plateformes RTX Spark et DGX Spark.
Le modèle combine conversation naturelle, utilisation d’outils sur plusieurs échanges, suivi d’instructions et prise en compte de l’état d’une application. NVIDIA envisage des interfaces embarquées, des personnages interactifs, des assistants vocaux locaux et le pilotage rapide d’appareils.
Une architecture rapide, mais l’orchestration reste décisive
Ces modèles héritent largement de l’architecture de Nemotron 3.5 Lightning, lancé en août. Elle associe un hybride Mamba-Transformer, la prédiction de plusieurs tokens, une structure MoE latente et le décodage spéculatif.
NVIDIA attribuait à Lightning une génération de tokens quatre fois plus rapide que celle de modèles de taille comparable. Dans les tâches agentiques complètes, le gain n’atteignait toutefois que 30 %, l’orchestration, les appels d’outils et les temps d’attente externes constituant toujours les principaux goulets d’étranglement.
La portée de cette gamme tient donc moins à la seule vitesse d’inférence qu’à son étagement matériel. Entre le modèle 120B pour l’entreprise, le 74B-A9B logé dans 24 Go et la variante de 4 Go, NVIDIA cherche à couvrir un même continuum logiciel du datacenter à l’embarqué, tout en maintenant les charges sensibles en local.
Source : Wccftech
