Une méthode innovante permettrait de réduire jusqu’à 60% les coûts d’utilisation des API de chatbots, sans nécessiter de refonte majeure des systèmes existants. L’approche, partagée sur le forum Reddit r/MachineLearning, propose des stratégies concrètes pour minimiser la consommation de tokens.
Elle met l’accent sur un routage intelligent des requêtes, illustré par un exemple concret utilisant un classifieur pré-entraîné et une table de routage fonctionnelle. L’auteur propose également une méthode pour entraîner son propre modèle de classification de prompts, afin d’orienter les requêtes vers les modèles les plus adaptés et économiques.
Cette démarche vise à passer d’une logique de maximisation des tokens à une stratégie de minimisation, offrant ainsi une efficacité accrue pour les développeurs et les entreprises. L’adoption de ces techniques pourrait redéfinir la gestion des coûts dans le domaine des agents conversationnels.
Source : Reddit r/MachineLearning