Un nouveau système d’intelligence artificielle a enregistré une précision de 94,42 % sur le jeu de données BANKING77, un benchmark exigeant pour la compréhension des intentions bancaires.
Le jeu de données BANKING77 est reconnu pour sa difficulté, comportant 77 intentions bancaires finement granulaires, des requêtes issues du monde réel souvent bruitées et un chevauchement significatif entre les classes. Cette performance représente une amélioration de 0,59 point de pourcentage par rapport au score précédemment cité de 93,83 %.
Le système développé s’appuie sur une combinaison d’intégrations légères (lightweight embedding) et un mécanisme de ré-ordonnancement basé sur des exemples (example reranking), le tout construit au sein du framework Seed AutoArch. Il est notable que cette architecture n’utilise pas de grand modèle linguistique (LLM) de 7 milliards de paramètres, privilégiant une approche optimisée. Les performances d’inférence sont également efficientes, avec environ 225 millisecondes et 68 mégaoctets de mémoire.
Cette avancée souligne le potentiel des architectures compactes pour atteindre des résultats de pointe sur des tâches complexes de classification d’intentions.
Source : Reddit r/artificial