IBM Research a introduit VAKRA, un nouveau benchmark conçu pour évaluer la capacité des agents d’intelligence artificielle à raisonner et à utiliser des outils dans des scénarios complexes. Cette initiative vise à mieux comprendre les forces et les faiblesses des systèmes actuels.
VAKRA simule des tâches qui exigent non seulement une compréhension contextuelle, mais aussi l’intégration de divers outils comme des calculatrices, des moteurs de recherche, des calendriers ou des interpréteurs de code. Le benchmark analyse la « chaîne de pensée » (Chain of Thought) des agents pour déceler les étapes où ils réussissent ou échouent.
L’analyse des performances révèle que même les agents d’IA les plus avancés rencontrent des difficultés significatives. Les échecs courants incluent la sélection incorrecte d’outils, la mauvaise interprétation des résultats obtenus et des erreurs de raisonnement logique. Ces lacunes soulignent la nécessité d’améliorer la robustesse et la fiabilité des agents.
Ce benchmark fournit des informations précieuses pour orienter la recherche future. Il met en lumière les domaines spécifiques où les agents d’IA doivent progresser pour devenir plus autonomes et efficaces dans l’exécution de tâches complexes. La compréhension de ces défaillances est cruciale pour l’avancement des agents d’IA vers une autonomie accrue.
Source : HuggingFace Blog