Les agents de codage basés sur l’IA, tels que Claude Code et Codex, identifient fiablement les bons fichiers mais peinent à localiser les lignes de code critiques, révèle une nouvelle étude.
Cette observation, mise en lumière par une recherche, souligne une lacune significative dans les capacités actuelles de ces outils. Bien qu’ils excellent à trouver le document pertinent au sein d’une base de code, leur précision diminue drastiquement lorsqu’il s’agit d’identifier les extraits exacts nécessitant une modification ou une correction.
Le nouveau banc d’essai SWE-Explore a été spécifiquement conçu pour évaluer la recherche de code indépendamment de la réparation effective. Les résultats montrent que sans un contexte suffisant sur les lignes précises, même une solution potentiellement correcte ne peut être appliquée efficacement par l’IA.
Cette limitation suggère que, malgré leur potentiel, les agents de codage IA nécessitent encore des avancées pour maîtriser la granularité fine de la compréhension contextuelle du code, un défi persistant pour l’automatisation complète du développement logiciel.
Source : The Decoder