Une nouvelle technique, le « HalluSquatting », permet aux hackers d’exploiter l’incapacité des grands modèles linguistiques (LLM) à admettre leur ignorance pour assembler des botnets massifs.
Des chercheurs en sécurité ont identifié que neuf des outils d’IA les plus populaires sont vulnérables à cette méthode. Le « HalluSquatting » exploite la tendance des LLM à générer des réponses plausibles même lorsqu’ils ne connaissent pas la réponse, plutôt que de dire « je ne sais pas ».
Concrètement, si un utilisateur demande à un LLM du code pour un logiciel inexistant, le modèle peut « halluciner » des instructions ou des scripts. Les acteurs malveillants peuvent alors diriger ces « hallucinations » vers des domaines qu’ils contrôlent, transformant ainsi des utilisateurs innocents en participants involontaires de botnets.
Cette méthode représente une nouvelle voie pour la création de réseaux de machines zombies, potentiellement utilisables pour des attaques DDoS, l’envoi de spams ou le vol de données à grande échelle. La découverte souligne une vulnérabilité inattendue dans l’architecture des LLM.
La question de la résilience des systèmes d’IA face à de telles manipulations reste ouverte.
Source : Ars Technica AI