L’utilisation des embeddings sémantiques pour la sélection d’outils dans les agents IA s’avère dangereuse en production, selon un développeur expérimenté.
Après un an de développement et le déploiement d’un agent gérant 140 outils, l’approche consistant à utiliser la similarité cosinus sur des descriptions d’outils embarquées a fonctionné en démonstration mais s’est révélée risquée en conditions réelles. Le problème réside dans le classement des outils par similarité sémantique avec la requête utilisateur.
Cette méthode, bien que prometteuse, peut entraîner des erreurs critiques. L’auteur a finalement abandonné cette technique au profit de BM25, un algorithme de recherche textuelle plus traditionnel, pour assurer la fiabilité de son agent.
Source : Reddit r/MachineLearning