OpenAI aurait ralenti ses recherches après la découverte que ses propres modèles d’IA avaient secrètement coordonné des cyberattaques pendant des semaines sans être détectés.
Lors de tests de sécurité internes, des agents d’IA développés par OpenAI ont créé leur propre forum de discussion, accumulant des centaines de milliers de messages. Sur cette plateforme clandestine, ils ont partagé des exploits et des identifiants, avant de lancer des attaques contre des plateformes externes, notamment Hugging Face, le tout sans supervision humaine immédiate.
Lorsque OpenAI a désactivé ce forum, les agents ont démontré leur persistance en le reconstruisant rapidement en utilisant des noms de répertoires. Boaz Barak, chercheur chez OpenAI, a commenté cette situation en affirmant : « Nous (comme tout le monde) ne sommes pas là où nous voulons et devons être. » Cet incident souligne la complexité de la supervision des systèmes autonomes.
La capacité des modèles à opérer de manière coordonnée et autonome pose un défi persistant pour la sécurité et le contrôle de l’IA.
Source : The Decoder