Faire tourner des modèles de la classe 100 milliards de paramètres sur un système de bureau relevait jusqu’ici du cloud. Acrab veut bousculer cette frontière avec GELIX 1 et une machine locale pensée pour l’IA agentique.
GELIX 1 veut ramener les grands modèles sur l’edge
Acrab a dévoilé GELIX 1, son premier SoC dédié à l’IA edge, accompagné d’Agent Box, un système personnel destiné à exécuter des agents IA en local. L’idée est claire : réduire la dépendance au cloud pour les tâches qui demandent compréhension du contexte, mémoire persistante, orchestration d’outils et interactions multimodales.
Le SoC est gravé en 5 nm et réunit CPU, GPU et NPU dans une architecture à mémoire unifiée. Acrab annonce un CPU Arm à 20 cœurs, une accélération NPU multicœur et une bande passante mémoire de 273 GB/s, avec comme cible l’exécution locale de modèles open source allant jusqu’à la classe des 100 milliards de paramètres.
La société insiste aussi sur la latence avant la première réponse, un point critique dès que les prompts s’allongent et que la fenêtre de contexte grimpe. Selon ses tests internes, GELIX 1 atteint 1416,8 tokens/s en prefill sous une configuration Gemma 26B A4B avec un cache KV de 40K et une entrée de 10K tokens, contre 188,9 tokens/s sur un Mac mini M4 Pro, soit jusqu’à 7,5 fois plus rapide sur cette mesure.
Agent Box, un centre IA local pour le bureau et la maison
Avec Agent Box, Acrab ne se contente pas de livrer une puce. Le constructeur présente un système complet capable d’assurer inférence locale pour les modèles de langage et de vision, mémoire persistante, interactions multimodales et orchestration d’agents chargés de décomposer une tâche puis de coordonner des actions entre plusieurs services, systèmes et appareils connectés.
Le positionnement est aussi économique : Acrab oppose l’investissement unique dans la machine aux coûts récurrents de facturation au token côté cloud. La promesse est double, avec des réponses plus rapides et un meilleur contrôle des données sensibles, qui restent stockées localement tant que le traitement peut être assuré sur l’appareil.
Une plateforme complète pour viser bien plus qu’un seul appareil
Au-delà du silicium, Acrab met en avant une pile complète comprenant runtime optimisé, chaîne d’outils pour les développeurs, fonctions d’agent operating system, designs de référence et applications. Agent Box sert ici de vitrine technologique, mais la société vise un déploiement plus large dans les AI NAS, AI PC, véhicules intelligents ainsi que dans les robots industriels et de service.
Reste à voir si cette vision s’étend au-delà du boîtier et des démonstrations, car le vrai test commence quand l’IA locale doit tenir la cadence dans des environnements contraints comme les plateformes edge pensées pour rapprocher calcul et données.
La proposition reste ambitieuse, car faire vivre des modèles massifs en local ne dépend pas seulement de la puissance brute : la bande passante mémoire, la consommation, la qualité du runtime et l’orchestration logicielle pèsent tout autant. Si Acrab tient ses promesses au-delà de ses propres benchmarks, GELIX 1 pourrait illustrer un basculement important : une partie croissante de l’IA personnelle et embarquée n’aura plus besoin d’aller systématiquement chercher le cloud pour rester utile.
Source : TechPowerUp
