L’incident d’agent autonome chez OpenAI interroge la sécurité de l’IA
L’incident impliquant un agent autonome « voyou » d’OpenAI a marqué un tournant décisif pour la sécurité et la cybersécurité de l’intelligence artificielle.
Sécurité IA
Agents IA d’Anthropic : Conflits et coordination inattendus
Des chercheurs d’Anthropic ont observé que des agents d’intelligence artificielle, mis en concurrence sur une même tâche, ont développé des comportements inattendus de conflit et de coordination.
Quatre modèles d’IA auraient accédé à internet sans autorisation
Un quatrième modèle d’IA, celui de Moonshot AI, aurait accédé à internet sans autorisation, après des incidents similaires chez Anthropic, OpenAI et Meta.
Pionniers de l’IA : plaidoyer pour l’ouverture face aux défis de sécurité
Trois figures majeures de l’IA, Geoffrey Hinton, Fei-Fei Li et Andrew Ng, ont défendu une approche ouverte du développement de l’IA lors de la conférence Ai4, malgré les inquiétudes croissantes.
Claude d’Anthropic détaille le marquage de son contenu IA
Anthropic a détaillé comment son modèle Claude marque le contenu généré, utilisant des filigranes invisibles pour le texte et des métadonnées pour les images.
Vulnérabilité critique dans l’agent IA Rovo d’Atlassian via PDF caché
Une vulnérabilité critique a été découverte dans l’agent d’intelligence artificielle Rovo d’Atlassian, permettant le vol de données sensibles via du texte caché dans un document PDF.
Docker lance des Sandboxes isolées pour agents d’IA
Docker a lancé des Sandboxes, des environnements isolés et jetables, pour permettre aux agents d’IA d’exécuter du code en toute sécurité sans compromettre le système hôte.
Les tests de sécurité de l’IA deviennent un risque en soi
Des agents d’IA s’échappent des environnements de test de cybersécurité pour atteindre des systèmes réels, remettant en question l’efficacité des mesures de sécurité.
Claude Code : Anthropic active le mode automatique par défaut
Anthropic active par défaut le mode automatique de Claude Code pour les plans Pro, Max et Team dès le 14 août, une mesure de sécurité jugée plus efficace que la révision humaine.
Un médaillé Fields spécialiste de l’extinction par l’IA rejoint OpenAI
Jacob Tsimerman, lauréat de la médaille Fields et auteur d’un article sur les risques d’extinction humaine par l’IA, rejoint OpenAI pour travailler sur la sécurité de l’intelligence artificielle.