Les modèles les plus avancés accèdent désormais aux données sensibles et peuvent exécuter des opérations critiques, alors même que leur comportement reste imprévisible. Pour Satya Nadella, cette contradiction impose de les traiter comme des acteurs internes potentiellement compromis.
Les agents IA deviennent des initiés à haut risque
Dans une longue publication sur X, le CEO de Microsoft estime que les modèles de pointe, qu’ils soient propriétaires ou à poids ouverts, doivent être considérés comme des initiés sur les plans opérationnel et organisationnel. Leur accès aux systèmes critiques justifie, à ses yeux, un niveau de contrôle comparable à celui appliqué aux comptes internes les plus sensibles.
Le problème tient notamment à leur fonctionnement non déterministe : un même ensemble d’entrées peut produire des réponses différentes. Pourtant, ces systèmes reçoivent déjà l’accès aux données les plus confidentielles et la capacité d’effectuer des actions critiques au nom de leurs utilisateurs.
Nadella juge insuffisante l’idée de confier la surveillance d’un modèle à un autre modèle. Les tests adversariaux et les vérifications croisées restent utiles, mais risquent de créer « un modèle opaque dans une couche d’orchestration opaque, surveillé par un autre modèle opaque », soit une accumulation de boîtes noires.
La chaîne de pensée ne constitue pas une preuve fiable
La transparence de la chaîne de pensée, ou CoT, ne suffit pas davantage. Elle peut renseigner sur le raisonnement présenté par le modèle, mais celui-ci n’est ni systématiquement fidèle au processus réel ni assez transparent pour devenir le socle unique d’un dispositif de sécurité.
Le dirigeant préconise donc d’encadrer ces composants probabilistes par une architecture déterministe, des procédures d’exploitation fiables et des contrôles humains. La chaîne de pensée et les modèles adversariaux ne seraient que des briques intermédiaires au sein d’un système davantage centré sur l’observabilité.
Un opérateur doit pouvoir interrompre chaque tâche
Parmi les 7 principes avancés par Satya Nadella, le confinement occupe une place centrale. Il faudrait partir du principe qu’un modèle est compromis, limiter son périmètre dès le déploiement et permettre à une personne autorisée de le mettre en pause ou de l’arrêter pendant l’exécution d’une tâche.
Des traces indépendantes, lisibles et infalsifiables
L’observabilité et l’audit indépendant complètent cette approche. Un même modèle ne devrait jamais contrôler à la fois le comportement d’un système et les éléments servant à vérifier que ce comportement correspond bien à l’intention initiale.
Chaque action significative devrait laisser une preuve infalsifiable et lisible par un humain. Microsoft défend ainsi la possibilité de reproduire le chemin ayant conduit à un résultat sans demander au modèle lui-même d’en certifier la validité.
Cette doctrine transpose aux systèmes agentiques des principes déjà familiers en cybersécurité : moindre privilège, segmentation, journalisation indépendante et capacité de révocation immédiate. À mesure que les agents obtiennent des droits d’écriture, d’exécution ou de paiement, la qualité du modèle compte moins, pour la sûreté opérationnelle, que la solidité de l’infrastructure qui borne ses actions.
Source : Wccftech
