Zhihuai (Zhipu AI) a dévoilé le GLM-5V-Turbo, un modèle de base multimodal orienté « coding » conçu pour la programmation visuelle. L’approche est native : vision et texte sont fusionnés dès le pré-entraînement, avec une fenêtre de contexte portée à 200k, et une intégration poussée aux cadres Agent de type Claude Code et aux projets « Lobster » (OpenClaw/AutoClaw). L’objectif est clair : comprendre des maquettes, captures et interfaces, puis générer du code exécutable sans repasser par une spécification textuelle exhaustive.
Un socle multimodal orienté production
GLM-5V-Turbo revendique la prise en charge native d’images, de vidéos, de maquettes et de documents mis en page, avec des outils visuels intégrés (cadrage, capture, lecture de pages web). Sur les benchmarks de génération de code guidée par la vision, de recherche multimodale et de Q/R, le modèle affiche des résultats en tête, tout en maintenant ses performances en programmation pure texte et en raisonnement, d’après les tests internes sur CC-Bench-V2 (Backend, Frontend, exploration de dépôts).
Sur les évaluations centrées Agent et GUI (AndroidWorld, WebVoyager), les scores sont également mis en avant, signe d’une capacité à planifier des actions et à piloter des environnements interactifs. La promesse porte autant sur la génération initiale que sur le cycle itératif : édition interactive, insertion/suppression de modules, ajustements de style et ajout de comportements (feedbacks, modales, formulaires).
Du « front » par vision aux Agents avec perception
Sur le périmètre front-end, l’éditeur annonce la reconstitution fidèle de maquettes ou de sites de référence à partir de simples captures ou enregistrements, avec restitution des détails de mise en page, palettes et micro-interactions. Branché à Claude Code, GLM-5V-Turbo peut explorer un site cible, cartographier l’architecture des pages, agréger les éléments visuels et rejouer l’ensemble en code, au-delà du simple « copier une image ».
Intégré à AutoClaw et autres Agents « Lobster », le modèle apporte une vraie perception d’écran. Les auteurs citent de bons résultats sur PinchBench, ClawEval et ZClawBench, des suites qui mesurent la qualité d’exécution de tâches composites. Cette brique visuelle ouvre des cas d’usage bureautiques et data : navigation web et documentaire, synthèses illustrées, lecture directe de graphiques financiers.
Focus finance et collecte parallèle
AutoClaw ajoute un « Skill » d’analyste boursier : GLM-5V-Turbo interprète chandeliers, zones de valorisation et visuels de rapports sell-side, alimente une collecte à quatre sources en 60 secondes, puis génère une note mêlant texte et graphiques. L’exemple illustre l’intérêt d’une vision native pour réduire les frictions I/O entre capture d’écran, OCR, parsing et génération.
La dynamique est celle d’un recentrage sur des socles compacts mais spécialisés. En combinant fenêtre étendue, outils visuels et coordination Agent, GLM-5V-Turbo vise la reproduction d’interfaces fidèles et l’automatisation d’environnements réels, là où beaucoup de modèles multimodaux restent cantonnés à la description d’images. Si les résultats externes indépendants confirment les gains revendiqués, les ateliers front, QA UI et RPA pourraient y trouver une option pragmatique, surtout pour des pipelines qui valorisent l’itération rapide entre perception et action.
Source : ITHome
