Le système de filtrage interne d’Anthropic, conçu pour détecter les risques liés aux armes biologiques et chimiques, est resté inactif pendant près d’un an, exposant 133 millions d’interactions à ses modèles d’IA sans cette protection essentielle.
Cette défaillance significative a été révélée par l’entreprise elle-même dans un récent rapport de sécurité. Durant cette période prolongée, environ 50 000 contractuels externes ont mené ces interactions non filtrées avec les modèles d’Anthropic, sans que le mécanisme de détection des contenus sensibles ne soit opérationnel.
L’incident met en lumière les défis persistants auxquels sont confrontés les développeurs d’intelligence artificielle pour maintenir des protocoles de sécurité rigoureux et constamment actifs. La gestion des risques liés aux contenus potentiellement dangereux, notamment ceux concernant la prolifération d’informations sensibles, demeure une préoccupation centrale pour l’ensemble de l’industrie de l’IA.
Cette situation interroge sur la robustesse et la fiabilité des mécanismes de surveillance mis en place pour prévenir les usages malveillants ou non éthiques des technologies d’IA avancées.
Source : The Decoder