OpenAI recrute pour sa sécurité IA : préparation à l’amélioration récursive

OpenAI recrute des chercheurs en sécurité au sein de son équipe Preparedness, avec une fourchette salariale annoncée entre 295 000 et 445 000 dollars par an (environ 271 000 à 409 000 €). L’offre cible des profils capables de soutenir un programme de préparation à l’« amélioration récursive » des modèles, c’est-à-dire l’hypothèse où une IA parvient à entraîner des versions plus performantes d’elle‑même. L’entreprise insiste sur des candidats « au bon goût et stratégiques », aptes à raisonner sur des problèmes qui n’existent pas encore pleinement dans les systèmes actuels.

Mandat du poste et périmètre technique

Le rôle prévoit trois axes concrets. D’abord, la défense contre les attaques par « empoisonnement de données », où des corpus malveillants altèrent le comportement d’un modèle lors de l’entraînement. Ensuite, le développement d’outils d’interprétabilité pour éclairer les chaînes de raisonnement des modèles ou caractériser expérimentalement leur surface de risque. Enfin, le suivi de l’automatisation des métiers techniques, avec des métriques d’usage des outils de programmation assistés par IA.

Cette priorité s’inscrit dans un agenda plus large d’automatisation de la R&D chez OpenAI. Sam Altman a évoqué en octobre un objectif d’« apprentis chercheurs » automatisés tournant sur des centaines de milliers de puces d’ici septembre 2024, et l’ambition d’un « véritable chercheur automatisé » à horizon mars 2028. La direction reconnaît l’incertitude sur la faisabilité, mais estime l’enjeu suffisamment systémique pour être public.

Contexte sectoriel

Chez Anthropic, des travaux publiés en avril testent la supervision d’un modèle plus puissant par un modèle plus faible, avec des résultats limités mais encourageants. En mai, Jack Clark, cofondateur et responsable des politiques, estime à environ 60 % la probabilité qu’à fin 2028 le cycle de R&D en IA puisse se dérouler sans intervention humaine. Ces projections alimentent la course aux garde‑fous et aux équipes dédiées à la préparation des risques émergents.

Au‑delà de la conformité, l’enjeu est industriel. Si l’automatisation de la recherche progresse réellement, la capacité à détecter en amont un empoisonnement de données, à tracer les raisonnements et à auditer l’impact des outils de codage IA deviendra un différenciateur de production, du choix des jeux de données jusqu’au rythme de déploiement en production.

Source : ITHome

Wael.K

Ravi de vous accueillir sur ma page dédiée aux articles ! Je suis Wael El Kadri, et je suis un ingénieur civil de profession. Mais ma véritable passion est le matériel informatique. J'en suis passionné depuis l'âge de 12 ans, et j'aime apprendre et découvrir de nouvelles choses. En 2016, j'ai créé ma page personnelle sur les réseaux sociaux, baptisée Pause Hardware. C'est là que je partage mes créations en modding, mais aussi divers sujets liés au matériel informatique en général. J'ai également crée le site web, pausehardware.com, en 2019 où je publie des articles plus approfondis sur le matériel à travers des tests et revues et articles de news. J'ai eu l'opportunité de participer en tant qu'exposant à plusieurs événements liés aux jeux vidéo, aux côtés de grandes marques, notamment lors de la Paris Game Week en 2018 et 2019. Je reste constamment en quête de nouvelles manières de partager mes connaissances et ma passion pour le matériel informatique avec d'autres passionnés. Voici quelques publications médiatiques qui ont mis en lumière mon travail : Deux articles dans le magazine Extreme PC, parus dans ses  numéros 1 et 21 : Extreme PC Magazine Issue 21 (adobe.com) Également, un article sur Forbes intitulé "Dix Modèles de PC Incroyables en 2021" sur forbes.com : Ten Incredible PC Mods Of 2021 (forbes.com)
guest
0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x