IBM Research a dévoilé ScarfBench, un nouveau benchmark conçu pour évaluer la capacité des agents d’intelligence artificielle à migrer des applications Java d’entreprise entre différents frameworks. Cette initiative vise à standardiser la mesure des performances des IA face à une tâche de développement logiciel complexe et coûteuse.
La migration d’applications Java, notamment le passage de Spring Boot 2 à Spring Boot 3, implique des modifications significatives des API et des dépendances. ScarfBench fournit un environnement contrôlé avec des projets Java réels et des critères d’évaluation automatisés, tels que la compilation réussie et le taux de réussite des tests, pour mesurer l’efficacité des agents.
Les premiers tests révèlent que même les grands modèles de langage (LLM) actuels, comme GPT-4, rencontrent des difficultés substantielles, affichant des taux de réussite faibles pour des migrations complètes. Ce constat souligne les défis techniques inhérents à l’automatisation de ces processus. ScarfBench aspire à stimuler la recherche pour développer des agents d’IA plus performants, capables de réduire les efforts manuels et les coûts pour les entreprises.
Source : HuggingFace Blog