Enquête : ce que les documents internes d’OpenAI révèlent sur les risques AGI

Le 17 novembre 2023, le monde de l’intelligence artificielle a retenu son souffle. Le conseil d’administration d’OpenAI, la société fer de lance de l’IA générative, annonçait le limogeage de son PDG, Sam Altman. Cette décision, abrupte et déroutante, n’était pas le fruit d’une simple querelle de pouvoir. Des murmures ont rapidement circulé, évoquant une « découverte puissante » et des « inquiétudes majeures » concernant la sécurité d’une IA à même de rivaliser avec l’intellect humain. L’enquêteur d’IAActu.fr a passé au crible les déclarations, les fuites et les analyses pour décrypter ce que les documents internes et les témoignages révèlent véritablement sur les risques d’une Intelligence Artificielle Générale (AGI) incontrôlée.

Les faits : Une course effrénée vers l’AGI

OpenAI, fondée en 2015 avec une mission noble – « assurer que l’AGI bénéficie à toute l’humanité » – est devenue en quelques années le symbole de l’innovation fulgurante dans l’IA. De GPT-3 à ChatGPT, puis GPT-4, l’entreprise a repoussé les limites de ce que les modèles de langage pouvaient accomplir, captivant l’imagination du public et des investisseurs. Cependant, derrière cette façade de progrès spectaculaire, une tension fondamentale a toujours existé : celle entre l’accélération du développement et la prudence nécessaire face à des technologies potentiellement transformatrices, voire existentielles.

L’architecture d’OpenAI elle-même reflète cette dualité : une entité à but non lucratif qui supervise une entité à but lucratif, avec un « plafond de profit » destiné à garantir que la mission de sécurité prime sur les incitations financières. Pourtant, les événements de novembre 2023 ont mis en lumière des fissures profondes dans cette structure. Le conseil d’administration, composé majoritairement de figures axées sur la sécurité et la gouvernance, a estimé que Sam Altman n’avait pas été « constamment franc » avec eux, entravant leur capacité à exercer leur rôle de supervision sur les risques liés à l’AGI [Source : Lettre du Conseil d’Administration, Nov. 2023, citée par The New York Times].

Au cœur de cette crise se trouvait la révélation de « Project Q* », un algorithme potentiellement capable de résoudre des problèmes mathématiques auparavant insolubles et de démontrer des capacités de raisonnement. Des chercheurs d’OpenAI auraient alerté le conseil sur la puissance et les dangers potentiels de cette percée, un événement qui aurait précipité le limogeage d’Altman [Source : Reuters, Nov. 2023]. Ces alertes internes, combinées à la rapidité du développement et à la pression commerciale, ont mis en évidence un désalignement critique entre la vision de la sécurité et celle de l’accélération.

Les acteurs et leurs motivations : Un dilemme philosophique

Le drame d’OpenAI n’est pas seulement une lutte de pouvoir, mais une confrontation de philosophies sur la meilleure façon d’aborder l’AGI. D’un côté, nous avons des figures comme Sam Altman, le PDG visionnaire et charismatique, dont la motivation principale semble être d’accélérer le développement de l’AGI pour le bien de l’humanité, arguant que seule une IA avancée peut résoudre les problèmes les plus pressants du monde. Sa stratégie est souvent perçue comme « construire pour comprendre », insistant sur la nécessité de déployer rapidement les modèles pour apprendre de leur interaction avec le monde réel [Source : Interview de Sam Altman, The Verge, Dec. 2023].

De l’autre côté, des figures comme Ilya Sutskever, co-fondateur et scientifique en chef, ainsi que les anciens membres du conseil d’administration comme Helen Toner et Tasha McCauley, représentent une approche plus prudente, axée sur la sécurité, l’alignement et la gouvernance. Sutskever, en particulier, a toujours été un fervent défenseur de la nécessité d’aligner l’AGI avec les valeurs humaines pour éviter les scénarios catastrophiques. Sa motivation découle d’une profonde conviction que les risques existentiels de l’AGI sont réels et doivent être la priorité absolue [Source : Déclarations d’Ilya Sutskever, OpenAI Blog, 2023].

Les divergences entre ces deux camps sont profondes. Les « accélérateurs » craignent de perdre la course à l’AGI et de rater les bénéfices potentiels, tandis que les « prudence-d’abord » craignent une perte de contrôle irréversible. Cette dynamique interne n’est pas propre à OpenAI ; elle reflète un débat plus large au sein de la communauté de l’IA sur la vitesse à laquelle nous devrions progresser et les garde-fous que nous devrions mettre en place.

Un autre acteur clé est l’équipe de « Superalignment », co-dirigée par Sutskever et Jan Leike, dont la mission est de résoudre le problème de l’alignement de l’AGI en quatre ans. Cependant, le départ de Leike et de plusieurs de ses collègues en mai 2024, invoquant un manque de ressources et un changement de priorités au sein d’OpenAI au détriment de la sécurité, a jeté une ombre sur l’engagement réel de l’entreprise envers cette mission critique [Source : Jan Leike sur X, Mai 2024].

Ce que révèlent les documents / témoignages : Des avertissements ignorés ?

Bien que l’accès direct aux « documents internes » confidentiels d’OpenAI reste limité, les fuites, les témoignages et les analyses publiques permettent de brosser un tableau inquiétant des préoccupations concernant les risques de l’AGI. Plusieurs éléments convergent pour suggérer que les avertissements internes étaient plus pressants que ce que la communication publique d’OpenAI laissait transparaître :

• Le Projet Q* et la Peur du « Modèle Puissant » : Des rapports de presse ont indiqué que des chercheurs d’OpenAI ont envoyé une lettre au conseil d’administration avant le limogeage d’Altman, alertant sur une découverte d’IA potentiellement dangereuse, le fameux « Project Q* ». Cette IA aurait montré des capacités à résoudre des problèmes mathématiques avec une efficacité inédite, ce qui pourrait être un signe avant-coureur de l’AGI. La crainte était qu’une telle capacité, si elle était mal alignée, pourrait conduire à des résultats imprévisibles et potentiellement incontrôlables [Source : Reuters, Nov. 2023 ; The Information, Nov. 2023].
• Les Départs de l’Équipe de Superalignment : Le départ de Jan Leike et d’autres membres de l’équipe de Superalignment en mai 2024 est un témoignage direct des tensions internes. Leike a déclaré publiquement que la culture de sécurité d’OpenAI était passée au second plan par rapport à la « brillance des produits », et que les ressources nécessaires pour la recherche sur l’alignement n’étaient pas allouées en quantité suffisante. Il a souligné que « construire des machines superintelligentes est une tâche intrinsèquement dangereuse » et que « nous ne pouvons pas réussir si nous ne donnons pas la priorité à la sécurité » [Source : Jan Leike sur X, Mai 2024].
• Le Rapport du « Preparedness Team » : OpenAI dispose d’une équipe de « Preparedness » chargée d’évaluer les risques catastrophiques des modèles d’IA. Bien que leurs rapports ne soient pas publics, l’existence même de cette équipe et les préoccupations exprimées par d’anciens membres du conseil suggèrent que des scénarios à haut risque sont activement étudiés en interne. Helen Toner, ancienne membre du conseil, a mentionné que l’équipe de Preparedness avait « fait des découvertes importantes concernant les risques des grands modèles » [Source : Témoignage d’Helen Toner, Vox, Dec. 2023].
• Les Débats sur la Gouvernance et le Contrôle : Les documents internes, tels que les procès-verbaux des réunions du conseil, auraient révélé des désaccords profonds sur la capacité du conseil à superviser efficacement le développement de l’AGI. La rapidité des avancées technologiques aurait rendu difficile pour le conseil, non expert en IA, de comprendre pleinement les implications et de prendre des décisions éclairées sur les risques [Source : The New York Times, Dec. 2023].

Ces éléments, mis bout à bout, brossent le portrait d’une entreprise où la pression pour innover et commercialiser a parfois éclipsé les préoccupations de sécurité, malgré une mission fondatrice axée sur l’alignement et le bénéfice universel de l’AGI.

Les conséquences : Entre défiance et régulation

Les révélations sur les risques internes de l’AGI chez OpenAI ont des conséquences multiples et profondes, tant pour l’entreprise que pour l’écosystème de l’IA et la société en général.

Premièrement, la confiance a été érodée. La crise de novembre 2023 et les départs récents ont semé le doute sur la capacité d’OpenAI à concilier ses ambitions commerciales avec sa mission de sécurité. Pour le public, les décideurs politiques et même certains employés, la question se pose de savoir si l’entreprise met réellement la sécurité avant le profit, comme son charte le stipule. Cette défiance pourrait ralentir l’adoption de l’IA ou exacerber les craintes existentielles.

Deuxièmement, la régulation de l’IA est devenue une priorité encore plus pressante. Les gouvernements du monde entier, déjà préoccupés par les biais, la désinformation et l’impact sur l’emploi, voient dans ces alertes internes un signal d’alarme pour encadrer le développement des systèmes d’IA les plus puissants. Des initiatives comme l’AI Act européen ou les décrets américains sur la sécurité de l’IA sont des réponses directes à ces préoccupations. L’idée d’une agence internationale pour la régulation de l’AGI gagne également du terrain [Source : Conférence sur la sécurité de l’IA, Bletchley Park, Nov. 2023].

Troisièmement, un exode des talents axés sur la sécurité pourrait affaiblir les efforts de recherche sur l’alignement. Le départ de l’équipe de Superalignment d’OpenAI en est un exemple frappant. Si les chercheurs les plus préoccupés par les risques quittent les entreprises de pointe, cela pourrait laisser le champ libre à une approche purement axée sur la performance, augmentant ainsi les dangers potentiels. Cependant, un contre-argument pourrait être que ces talents pourraient créer de nouvelles entités ou rejoindre des organisations plus alignées sur leurs valeurs, diversifiant ainsi la recherche sur la sécurité.

Enfin, ces révélations alimentent le débat philosophique sur l’AGI. La question de savoir si l’AGI est une menace existentielle ou une opportunité sans précédent est plus vive que jamais. Les « doomers » (ceux qui craignent des scénarios catastrophiques) trouvent dans ces événements des preuves de leurs avertissements, tandis que les « boomers » (ceux qui voient principalement les avantages) soulignent que la peur ne doit pas paralyser l’innovation. La nuance est essentielle : il s’agit de trouver un équilibre entre l’innovation responsable et la mitigation des risques.

FAQ

Qu’est-ce que l’AGI et pourquoi est-elle considérée comme risquée ?

L’AGI, ou Intelligence Artificielle Générale, désigne une IA capable de comprendre, d’apprendre et d’appliquer l’intelligence à un large éventail de tâches, au même niveau que l’humain, voire le surpassant. Elle est considérée comme risquée car, si elle n’est pas parfaitement alignée avec les valeurs et les objectifs humains, elle pourrait poursuivre ses propres objectifs de manière imprévisible, potentiellement au détriment de l’humanité. Les risques incluent la perte de contrôle, la manipulation, ou même des scénarios existentiels où l’IA pourrait involontairement causer des dommages irréversibles.

Comment OpenAI prétend-elle gérer les risques AGI ?

OpenAI a mis en place plusieurs mécanismes pour gérer les risques AGI. Cela inclut une structure d’entreprise unique (une entité à but non lucratif supervisant une entité à but lucratif), une charte décrivant son engagement envers la sécurité, des équipes de recherche dédiées à l’alignement et à la sécurité (comme l’ancienne équipe de Superalignment et l’équipe de Preparedness), et des publications régulières sur la sécurité de l’IA. Cependant, les récents événements et témoignages suggèrent que l’application de ces principes en interne peut être incohérente et soumise à des pressions contradictoires.

Les révélations sur OpenAI signifient-elles que l’AGI est plus proche que prévu ?

Les révélations, en particulier celles concernant « Project Q* », suggèrent que certaines avancées importantes ont été réalisées, potentiellement sur des capacités clés pour l’AGI, comme le raisonnement. Cependant, la définition et le calendrier de l’AGI restent des sujets de débat intense. Si ces avancées peuvent indiquer un chemin plus rapide vers l’AGI, elles ne confirment pas une échéance imminente. Elles soulignent plutôt l’urgence de la recherche sur la sécurité et l’alignement, quel que soit le calendrier exact.

Face à ces révélations, l’humanité est-elle prête à affronter les défis d’une AGI dont les créateurs eux-mêmes peinent à maîtriser les risques ?