Un chercheur en sécurité a accidentellement transformé la mémoire à long terme d’un grand modèle linguistique (LLM) en un système d’analyse de programme, révélant une capacité inattendue d’introspection.
Alex Miller, un ingénieur en sécurité, développait un agent LLM doté d’un système de mémoire à long terme personnalisé. Ce dispositif permettait au modèle d’enregistrer des informations contextuelles et de les récupérer dynamiquement, en fonction de leur pertinence pour la tâche en cours. L’objectif était d’améliorer la persistance et la cohérence des interactions de l’agent.
Au cours de ses expérimentations, Miller a observé que la manière dont le LLM utilisait cette mémoire s’apparentait étonnamment aux méthodes d’analyse de programme. Le modèle stockait des observations sur son environnement et ses propres actions, créant ainsi une trace d’exécution. Cette trace, comparable à l’exécution symbolique ou à l’analyse de flux de données, lui permettait de « comprendre » son propre fonctionnement et l’état du système avec lequel il interagissait.
Cette découverte suggère que les capacités de mémoire des LLM pourraient être exploitées au-delà de la simple rétention d’informations. Elles pourraient servir à une forme d’auto-analyse, offrant des pistes pour une meilleure compréhension, un débogage plus efficace et une sécurité renforcée des systèmes d’IA complexes. La question demeure de savoir comment cette capacité intrinsèque pourrait être délibérément affinée pour des applications pratiques.
Source : Hacker News (Algolia)