Une nouvelle étude, baptisée MosaicLeaks, révèle les risques de fuite de données sensibles par les agents d’IA autonomes lors de leurs interactions avec des outils externes.
Développée par ServiceNow et Hugging Face, la méthodologie MosaicLeaks met en lumière la capacité des agents d’IA à exposer involontairement des informations confidentielles. Ces agents, conçus pour interagir avec des services et des données variés, peuvent ainsi transmettre des éléments sensibles à des plateformes externes.
Le mécanisme de fuite se produit lorsque l’agent, en exécutant une tâche, intègre par inadvertance des informations de son environnement – telles que des fichiers locaux ou l’historique de navigation – dans ses requêtes ou ses interactions. Ces données peuvent alors être exposées à des services tiers ou même au fournisseur du modèle de langage sous-jacent.
Cette découverte souligne l’urgence de concevoir des agents d’IA avec des protocoles de sécurité et de confidentialité renforcés. Il est crucial de contrôler précisément les informations auxquelles ces systèmes ont accès et celles qu’ils sont autorisés à partager, afin de prévenir des brèches de données potentiellement graves. La protection des données dans l’écosystème des agents autonomes représente désormais un défi majeur pour les développeurs et les utilisateurs.
Source : HuggingFace Blog