Nvidia a développé SoL-Pi, un système capable de réduire de près de moitié la consommation de tokens des agents de codage, sans impact significatif sur leurs performances.
Ce système optimise la « harnais », c’est-à-dire la couche de contrôle qui gère l’interaction entre le modèle d’IA et son environnement. Cette approche permet une efficacité accrue dans l’utilisation des ressources computationnelles.
Le développement de SoL-Pi a été le fruit d’un travail intensif, où un agent de recherche a exploré 152 approches différentes au cours de plus de 3 000 exécutions. Bien que les gains soient impressionnants pour les agents de codage, atteignant jusqu’à 49 % de réduction, les bénéfices observés sur d’autres benchmarks se sont avérés moins importants.
Cette avancée souligne l’importance de l’optimisation des interfaces entre les modèles d’IA et leurs tâches spécifiques pour une meilleure efficience.
Source : The Decoder