Une étude récente révèle que les « compétences » des agents d’IA, censées améliorer leurs performances, s’avèrent peu efficaces dans des conditions réelles, contrairement aux résultats observés en laboratoire.
Les agents d’intelligence artificielle sont conçus pour exploiter des connaissances spécialisées via des « compétences », des instructions modulaires qu’ils peuvent activer dynamiquement. Ces modules visent à enrichir leurs capacités et à les rendre plus adaptables face à des tâches complexes.
Cependant, une recherche ayant testé 34 000 compétences issues de situations concrètes a montré que ces améliorations n’apportent qu’un bénéfice marginal dans un environnement réaliste. Pire encore, les modèles d’IA moins performants voient même leurs résultats se dégrader lorsqu’ils utilisent ces compétences, plutôt que de s’améliorer.
Ces observations soulèvent des questions sur la pertinence des méthodes d’évaluation actuelles et la véritable utilité de ces « compétences » pour les agents d’IA en dehors des environnements contrôlés.
Source : The Decoder