Faire tourner un modèle de 671 milliards de paramètres en local ne passe plus forcément par un serveur IA massif. Bosgame met en avant une autre voie, avec un cluster de sept mini PC capables de répartir l’inférence de DeepSeek-V3.1 671B.
Un Bosgame AI Cluster pensé pour contourner les limites d’une seule machine
La démonstration repose sur sept Bosgame M5 AI Mini PC interconnectés via USB4 Direct Connection. L’ensemble fonctionne comme un cluster unifié, avec une approche scale-out destinée à l’inférence locale de grands modèles de langage.
L’idée est simple : quand un seul AI PC ne dispose plus de suffisamment de mémoire ou de ressources de calcul, il devient possible de distribuer la charge sur plusieurs nœuds. Bosgame cherche ainsi à se positionner entre la machine individuelle trop limitée et le serveur IA classique, bien plus coûteux et plus lourd à déployer.
896 Go de mémoire unifiée répartis sur 7 nœuds
Sur ses sept nœuds, le cluster totalise 896 Go de Unified Memory, dont jusqu’à 672 Go alloués en Unified VRAM. Ce pool mémoire permet d’absorber des charges IA nettement plus lourdes que ce qu’un système autonome peut généralement encaisser, en particulier sur des modèles de la taille de DeepSeek-V3.1 671B.
Bosgame insiste aussi sur l’absence d’architecture serveur centralisée traditionnelle. Ici, la liaison USB4 sert de colonne vertébrale à un assemblage modulaire, avec une montée en charge qui peut théoriquement suivre l’évolution des besoins projet par projet.
Une montée en charge modulaire pour l’IA privée
Le constructeur présente son cluster comme une infrastructure privée plus flexible pour les entreprises et les développeurs. Le principe consiste à démarrer avec un seul M5 AI Mini PC, puis à ajouter des nœuds à mesure que les besoins en calcul augmentent.
Pour ceux qui veulent comparer cette voie à des systèmes plus structurés, les plateformes locales capables de monter bien plus haut en capacité montrent jusqu’où peut aller l’IA déployée sur site.
Au-delà de l’inférence, la plateforme prend aussi en charge le développement IA local via un service d’API local reposant sur Llama.cpp. Bosgame cite des usages comme le développement logiciel, le débogage, les opérations Kubernetes, les projets IA d’entreprise et l’edge AI computing.
Le point central reste la maîtrise locale des charges et des données. Pour des organisations qui veulent éviter de faire transiter leurs modèles, prompts ou jeux de données vers une infrastructure externe, ce type d’architecture commence à dessiner une alternative crédible aux serveurs IA traditionnels, à condition que les performances réelles suivent sur la durée.
Cette démonstration illustre surtout un changement de logique dans le matériel IA : plutôt que de concentrer toute la puissance dans une seule machine onéreuse, certains acteurs misent désormais sur des grappes compactes, extensibles et plus accessibles à intégrer sur site. Si l’approche tient ses promesses en latence, en stabilité et en orchestration, elle peut intéresser bien au-delà du laboratoire de test.
Source : TechPowerUp
