Une étude récente a évalué l’efficacité du routage de modèles d’IA basé sur la complexité des requêtes pour optimiser les coûts, notamment dans le domaine financier.
Cette évaluation, partagée sur Reddit, a comparé une approche de base utilisant systématiquement Claude Opus avec deux stratégies de routage. La première, intra-fournisseur, dirigeait les requêtes simples vers Claude Haiku, les moyennes vers Sonnet et les complexes vers Opus.
La seconde stratégie, plus flexible, assignait les requêtes de complexité moyenne à des modèles auto-hébergés comme Qwen 3.5 27B ou Gemma 3 27B, tout en réservant Claude Opus aux requêtes complexes. Les tests ont été menés sur des jeux de données financiers publics d’HuggingFace, notamment FiQA-SA.
Les résultats indiquent que le routage basé sur la complexité des prompts peut générer des économies significatives. Cette approche suggère une voie pour une utilisation plus efficiente des ressources de calcul et des modèles d’IA coûteux.
La communauté s’interroge désormais sur les méthodologies de benchmark adoptées par d’autres acteurs pour des optimisations similaires.
Source : Reddit r/MachineLearning