Une nouvelle architecture de modèle de langage, baptisée SubQ, promet de gérer des contextes d’une taille inédite, jusqu’à 12 millions de tokens, tout en maintenant une complexité computationnelle inférieure à la norme quadratique.
Développée par SubQ AI, cette approche vise à surmonter les limitations actuelles des grands modèles de langage (LLM) qui peinent à traiter de longs documents ou des conversations étendues sans perte de performance ou augmentation exponentielle des coûts de calcul.
Le modèle exploite une méthode d’attention optimisée pour réduire la charge computationnelle, ouvrant la voie à des applications nécessitant une compréhension approfondie de vastes ensembles de données textuelles.
Cette avancée pourrait redéfinir les capacités des LLM dans des domaines tels que l’analyse de documents juridiques, la recherche scientifique ou la gestion de bases de connaissances complexes.
Source : Hacker News (Algolia)