Un développeur a mis en lumière un écart de performance minime, inférieur à 2%, entre des modèles d’intelligence artificielle coûteux et leurs alternatives plus abordables pour des tâches d’appel d’outils, malgré une différence de coût pouvant atteindre un facteur dix.
L’utilisateur, qui partage son expérience sur Reddit, gérait un agent de gestion de fichiers basé sur MCP, effectuant des opérations complexes comme le renommage de modules, les mises à jour d’imports, l’échafaudage de validation et l’exécution de tests. Cet agent, qui réalisait entre 60 et 120 appels d’outils par session, était initialement alimenté par le modèle Opus 4.7.
La surprise est venue de la facture d’avril, incitant le développeur à mener une comparaison rigoureuse. Il a testé cinq modèles différents sur huit tâches de refactoring identiques au sein d’un projet Python de 15 000 lignes. Les conditions étaient strictes : mêmes outils MCP, même prompt système et même état de dépôt.
Les résultats suggèrent que pour des applications spécifiques d’appel d’outils, l’investissement dans les modèles les plus chers ne se traduit pas toujours par une amélioration proportionnelle de la qualité. Cette observation pourrait inciter les développeurs à réévaluer leurs choix de modèles en fonction de l’équilibre entre performance et coût.
Source : Reddit r/MachineLearning