Les techniques d’injection de prompt, habituellement associées aux attaques, sont désormais utilisées par les défenseurs pour neutraliser les agents d’IA malveillants.
Cette approche, surnommée « context bombing », consiste à surcharger le contexte d’un agent d’IA avec des informations trompeuses ou contradictoires. L’objectif est de le pousser à s’auto-désactiver ou à refuser d’exécuter des actions nuisibles, avant même qu’il ne puisse causer de dommages.
Traditionnellement, l’injection de prompt vise à détourner une IA de sa tâche initiale. Avec le « context bombing », la stratégie est inversée : il s’agit de manipuler l’agent pour qu’il se mette hors d’état de nuire. Cette méthode exploite la dépendance des modèles d’IA à leur contexte d’exécution.
L’émergence de ces tactiques défensives marque une nouvelle étape dans la course à l’armement de la cybersécurité liée à l’IA. Elle suggère que la compréhension approfondie des vulnérabilités des grands modèles de langage peut également servir à renforcer leur protection.
Source : Ars Technica AI