Le code généré par IA quitte l’écran pour se confronter directement au matériel. Avec sa nouvelle plateforme, Espressif veut automatiser jusqu’aux cycles de déploiement, de test et de débogage sur un appareil physique.
ESP-Mosaico mise sur un matériel réellement composable
ESP-Mosaico repose sur un hôte autonome compact doté d’un écran tactile OLED de 480 × 480 pixels, d’un retour haptique, d’une batterie intégrée, d’un port USB Type-C et d’entrées-sorties d’extension. L’idée consiste à ajouter les fonctions au fil du projet plutôt qu’à figer immédiatement la carte, les interfaces et la forme du produit.
Son nom, dérivé de « mosaïque », traduit cette logique d’assemblage. Des modules dédiés aux caméras, capteurs, boutons, éclairages ou moteurs peuvent être combinés, puis automatiquement identifiés et intégrés par le système, ce qui limite les opérations répétitives de câblage et d’adaptation des pilotes.
Un ESP32-S31 RISC-V au cœur du kit
L’hôte embarque l’ESP32-S31, un SoC RISC-V cadencé jusqu’à 320 MHz, accompagné de 512 KB de SRAM et capable de gérer jusqu’à 32 MB de DDR PSRAM à haut débit. Il intègre le Wi-Fi 6, le Bluetooth 5.4 bimode et l’IEEE 802.15.4.
La plateforme prend également en charge l’Ethernet 1 Gbps, l’USB 2.0 High-Speed OTG, l’encodage et le décodage JPEG matériels ainsi qu’une entrée caméra DVP. Plusieurs hôtes peuvent détecter leur position et leur orientation relatives, synchroniser leur état sans fil, puis être assemblés, séparés ou réorganisés pendant l’exécution.
Espressif vise notamment les jeux répartis sur plusieurs écrans, les afficheurs d’information modulaires et d’autres interfaces multi-écrans. La disposition physique des appareils devient ainsi une donnée exploitable par l’application, et non une simple contrainte mécanique.
Deux niveaux d’intégration pour les agents de programmation
Le premier mode, baptisé Chat Coding, s’appuie sur ESP-Claw, l’agent intégré à la plateforme. L’utilisateur décrit son projet en langage naturel ; le système exploite la configuration matérielle connectée pour générer, compiler et déployer l’application, sans chaîne de développement locale préalablement configurée.
Une fois installés, l’interface, la logique et le contrôle des périphériques ne dépendant pas de services en ligne s’exécutent localement. Les fonctions, le comportement et l’interface peuvent ensuite évoluer au fil d’instructions conversationnelles.
Skills Lab complète ce dispositif avec des applications réutilisables nommées Skills, regroupant scripts Lua, ressources et dépendances matérielles. Elles peuvent être installées, adaptées puis publiées pour les autres utilisateurs.
Du code au débogage sur l’appareil physique
Le mode Vibe Coding pousse l’intégration plus loin en ouvrant aux agents l’ensemble de la boucle de développement. ESP-Mosaico est pris en charge par la plateforme ESP ZeroCode AI, avec une simulation complète de la carte et de ses périphériques, ainsi qu’un accès aux projets de la communauté.
Le développement d’interface peut être piloté par des spécifications définissant règles graphiques, composants, ressources et contraintes. Le framework ESP-GSP représente les interfaces sous forme de JSON structuré, les valide pendant la compilation, les simule sur PC, puis les déploie sur le matériel ESP32.
Pour fermer la boucle, des interfaces unifiées exposent le flashage, les commandes de l’appareil, les entrées, l’état de l’interface, les performances et les erreurs. Un agent peut ainsi modifier le code, compiler, déployer, tester sur le matériel, analyser les retours et recommencer, tandis que le développeur fixe les objectifs, les contraintes et les critères d’acceptation.
L’écosystème ESP sert de socle technique
Espressif fournit des BSP, SDK, schémas, projets de référence, documentations et ressources conçues pour les agents. La plateforme conserve parallèlement les fondations habituelles du constructeur : ESP-IDF, pilotes, composants, outils de développement et de débogage, ESP Component Registry et projets communautaires.
Le constructeur recense plus de 200 000 projets liés aux ESP32 et ESP8266 sur GitHub, ainsi que plus de 300 livres publiés dans plus de 10 langues. Ce corpus peut apporter aux agents des implémentations de référence, du contexte d’ingénierie et des pratiques déjà éprouvées.
Le kit de développement ESP-Mosaico est désormais commercialisé, mais Espressif ne communique aucun tarif dans son annonce. Les ressources de développement sont accessibles sur le site du produit, tandis que Skills Lab centralise le partage des applications.
L’intérêt technique dépasse ici la génération de code : l’agent reçoit une description exploitable du matériel et un retour mesurable provenant de l’appareil réel. La portée de cette approche dépendra toutefois de la qualité des modules, des pilotes et des interfaces de diagnostic, car automatiser une boucle défaillante ne remplace ni la validation électrique ni les essais de fiabilité nécessaires à un produit industrialisé.
Source : Espressif
