Un groupe de chercheurs américains a créé un décodeur neuronal capable de fonctionner sur un « system on module », le NVIDIA Jetson Nano. Compact et économe en énergie, il a permis de traduire les pensées de Shawn Findley, 46 ans. L’objectif était de créer des mouvements de doigts individuels.
L’équipe a ensuite « branché » Findley sur un PC exécutant Far Cry 5 et Raiden IV . Il a fait bouger le personnage du jeu. Il l’a fait sauter et même piloter un hélicoptère virtuel en utilisant son esprit.
L’expérience est détaillée dans un document intitulé » Une main neuroprothétique portable et autonome avec un contrôle des doigts basé sur l’apprentissage en profondeur « . Il décrit l’extraordinaire collaboration interdisciplinaire. Le système permet aux humains de contrôler à peu près tout ce qui est numérique avec des pensées.
Sommaire
« C’est comme si je voulais tendre la main et ramasser quelque chose »
Pour capturer ces pensées, le Dr Cheng de l’UTSW a chirurgicalement inséré des réseaux d’électrodes microscopiques dans les nerfs médians et ulnaires résiduels de l’avant-bras de l’amputé. Ces électrodes, avec des contacts en nanotubes de carbone, vont détecter les signaux électriques du nerf périphérique. Le laboratoire du Dr Yang a conçu une puce neuronale de haute précision. Elle va acquérir les minuscules signaux enregistrés par les électrodes des nerfs résiduels des amputés. Le laboratoire du Dr Zhao a ensuite développé des algorithmes d’apprentissage automatique qui décodent les signaux neuronaux en commandes manuelles.
Avec seulement quelques heures de formation, le système a permis à Findley de déplacer les doigts de manière rapide, précise et intuitive sur une main prothétique portable. « C’est comme si je voulais tendre la main et ramasser quelque chose », a déclaré Findley.
En bref, Shawn Findley (un pasteur de l’est du Texas) qui a perdu la main à la suite d’un accident dans un atelier d’usinage il y a 17 ans, a pu utiliser un décodeur d’IA formé sur un GPU NVIDIA TITAN X et déployé sur le NVIDIA Jetson pour traduire ses pensées en en temps réel dans des actions dans un environnement virtuel. L’objectif est de mettre au point des systèmes de neuromodulation destinés aux amputés et aux patients atteints de maladies neurologiques, ainsi qu’aux personnes valides qui souhaitent contrôler des robots ou des appareils en y pensant.
Source : Nvidia
Retrouvez toute l’actualité hardware ici
