Depuis 2024, une série de départs retentissants a secoué les équipes de sécurité IA des principaux laboratoires. Des chercheurs parmi les plus respectés du domaine quittent OpenAI et Anthropic en exprimant publiquement leurs inquiétudes sur le rythme de développement et la priorité (ou le manque de priorité) donnée à la sécurité.
- Les départs marquants
- Le cœur du problème
- Les clauses de non-disparagement
- Ce que cela signifie pour la sécurité IA
- Les solutions proposées
- Questions fréquentes
- Pourquoi les chercheurs en sécurité IA quittent-ils les grands laboratoires ?
- Qu''est-ce que l''équipe Superalignment d''OpenAI ?
- Existe-t-il des protections pour les lanceurs d''alerte dans le domaine de l''IA ?
- Sources
Les départs marquants
En mai 2024, Jan Leike, co-responsable de l’équipe Superalignment d’OpenAI, a démissionné en publiant un message sans équivoque : « Les prises de décision d’OpenAI ces dernières années ont érodé ma confiance. » Il a ajouté que « la culture de la sécurité et les processus n’ont pas suivi le rythme » du développement des produits.
Ilya Sutskever, co-fondateur et scientifique en chef d’OpenAI, est parti quelques jours plus tard après avoir été l’un des moteurs de l’éviction (avortée) de Sam Altman en novembre 2023. Son départ a été perçu comme un signal d’alarme par la communauté de la sécurité IA.
Chez Anthropic, des départs plus discrets mais significatifs ont également été signalés dans les équipes de recherche en alignement, certains chercheurs estimant que les pressions commerciales commençaient à primer sur la recherche en sécurité.
Le cœur du problème
La tension fondamentale est structurelle : les laboratoires d’IA sont pris entre deux impératifs contradictoires :
- La course à la performance : le marché récompense les modèles les plus performants. Chaque mois de retard dans le lancement d’un modèle peut signifier des milliards de dollars de manque à gagner.
- La sécurité : tester rigoureusement la sécurité d’un modèle prend du temps. Des évaluations approfondies des risques, des red-teamings extensifs et des garde-fous robustes nécessitent des semaines ou des mois supplémentaires.
Les chercheurs qui partent affirment que l’impératif commercial l’emporte systématiquement lorsque les deux entrent en conflit.
Les clauses de non-disparagement
Le débat a pris une tournure plus aiguë lorsqu’il a été révélé qu’OpenAI imposait des clauses de non-disparagement dans ses accords de départ, sous peine de perte des actions acquises. Sous la pression médiatique, OpenAI a annoncé la suppression de ces clauses, mais l’épisode a illustré les tensions internes.
Ce que cela signifie pour la sécurité IA
La fuite des talents en sécurité IA est préoccupante pour plusieurs raisons :
- Les chercheurs les plus compétents en sécurité sont aussi les plus à même de détecter les risques des systèmes qu’ils développent.
- Leur départ prive les laboratoires de la voix interne qui pousse à la prudence.
- La concentration de la recherche en sécurité dans quelques laboratoires rend le domaine vulnérable à ce type de départs.
Les solutions proposées
- Un cadre réglementaire imposant des évaluations de sécurité indépendantes avant le déploiement de modèles à capacités avancées.
- Des mécanismes de gouvernance donnant aux équipes de sécurité un veto sur les lancements.
- Des protections juridiques pour les lanceurs d’alerte dans le domaine de la sécurité IA.
Les laboratoires d’IA peuvent-ils concilier course à la performance et recherche sérieuse en sécurité ?
Questions fréquentes
Pourquoi les chercheurs en sécurité IA quittent-ils les grands laboratoires ?
Les chercheurs reprochent aux laboratoires comme OpenAI et Anthropic de privilégier la rapidité de mise sur le marché au détriment des évaluations de sécurité. Plusieurs ont exprimé publiquement que les processus internes de sécurité ne suivaient pas le rythme du développement commercial des modèles.
Qu »est-ce que l »équipe Superalignment d »OpenAI ?
L »équipe Superalignment était chargée de résoudre le problème de l »alignement des IA superintelligentes sur les valeurs humaines. Co-dirigée par Jan Leike et Ilya Sutskever, elle a été démantelée de facto après leurs départs successifs en mai 2024.
Existe-t-il des protections pour les lanceurs d »alerte dans le domaine de l »IA ?
À ce jour, il n »existe pas de cadre juridique spécifique protégeant les lanceurs d »alerte en sécurité IA. Des voix dans la communauté scientifique et au Congrès américain réclament des protections légales, notamment après la révélation des clauses de non-disparagement imposées par OpenAI.
