Un nouveau benchmark évaluant la capacité de coordination des grands modèles de langage (LLM) dans des environnements complexes et ouverts a révélé des performances globalement faibles, bien que Gemini 3.1 Pro se distingue. Cette étude, publiée sur Reddit r/MachineLearning, met en lumière les défis auxquels sont confrontés les agents basés sur les LLM lorsqu’ils doivent collaborer.
Le « New LLM Coordination Benchmark » a testé 13 LLM modernes dans un monde où les agents devaient explorer, communiquer, échanger des ressources, fabriquer des outils, construire des structures et combattre des ennemis. L’objectif était de déterminer si ces agents pouvaient coordonner des actions sur le long terme dans des scénarios ouverts, une tâche complexe nécessitant une compréhension contextuelle et une planification stratégique.
Les résultats indiquent que la plupart des agents peinent, atteignant en moyenne seulement environ 6 % de retour normalisé. Néanmoins, dans le cadre le plus difficile, Gemini 3.1 Pro, en mode « zero-shot », a montré des performances comparables à celles du meilleur agent d’apprentissage par renforcement multi-agents (MARL) entraîné sur un milliard d’étapes. La coordination est identifiée comme un goulot d’étranglement distinct, au-delà des autres capacités des LLM. Ces recherches soulignent les défis persistants dans le développement d’agents IA véritablement collaboratifs.
Source : Reddit r/MachineLearning