Nemotron 3.5 Bolt : un modèle de 74 milliards de paramètres dans 24 Go
Lecture : 2 min
Nvidia a publié hier Nemotron 3.5 Bolt 74B, un modèle ouvert pensé pour faire tourner des agents IA directement sur un PC, sans passer par le cloud. Les poids sont disponibles sur Hugging Face.
Le principe
Le modèle compte 74 milliards de paramètres, mais, d'après son nom (74B-A9B), seulement 9 milliards sont actifs à chaque token : c'est une architecture « mixture of experts ». Nvidia le propose en plus avec une quantification native en 2 bits, ce qui lui permet de tenir dans 24 Go de mémoire.
Nvidia vise des tâches d'agent du quotidien : recherche web, rédaction, débogage de code. Le modèle est prévu pour tourner à côté d'autres applications, sans envoyer ces tâches vers le cloud, donc les données restent sur la machine.
Comment l'utiliser
Il fonctionne avec llama.cpp, Ollama, LM Studio, Unsloth et vLLM. Côté matériel, Nvidia cite les PC équipés de cartes GeForce RTX, les DGX Spark et DGX Station et les stations RTX PRO, ainsi que ses portables RTX Spark, qui arrivent aujourd'hui, le 16 octobre.
Un modèle plus petit, Bolt E4B (environ 4 Go), arrive le 23 octobre. Il vise les assistants vocaux locaux, les personnages interactifs et les interfaces embarquées.
Ce qu'il faut garder en tête
Nvidia indique que Bolt est le premier modèle ouvert de sa catégorie sur PinchBench et le deuxième modèle ouvert sur BrowseComp. Ce sont des résultats annoncés par le constructeur, et je n'ai pas trouvé de test indépendant.
Une quantification à 2 bits est aussi un compromis : on gagne en mémoire, on perd forcément en précision, et seuls des tests sur de vraies tâches diront ce que ça donne. Il faut enfin compter sur du matériel récent et assez haut de gamme.
Pourquoi c'est intéressant
Faire tourner un agent en local évite d'envoyer ses données à un service tiers et de dépendre d'un abonnement. Pour un projet web, ça veut dire pouvoir brancher un assistant de code ou de recherche sur sa propre machine. Reste à voir si la qualité est au rendez-vous : le plus simple est de le télécharger et de le tester sur ses propres cas.