Anthropic, l’entreprise derrière le modèle d’IA Claude, développe un standard commun pour évaluer la gravité des « jailbreaks », une initiative passée inaperçue malgré le récent tumulte autour de son modèle Fable 5.
Cette démarche intervient après la suspension puis le redéploiement de Fable 5. Ce modèle d’intelligence artificielle avait été mis en pause pendant trois semaines sous la pression des autorités américaines, notamment de Washington.
Les « jailbreaks » désignent les techniques utilisées pour contourner les garde-fous des modèles d’IA, les incitant à générer des contenus inappropriés ou dangereux. L’absence d’une métrique universelle rend difficile la comparaison et la gestion de ces vulnérabilités entre les différents systèmes.
Le projet d’Anthropic vise à établir une grille d’évaluation objective, permettant de classifier les « jailbreaks » selon leur dangerosité et leur complexité. Ce chantier, jugé plus structurant que la seule affaire Fable 5, pourrait poser les bases d’une meilleure sécurité des IA à l’échelle de l’industrie.
Source : Numerama