Liquid AI a introduit les LFM2.5-Encoders, une nouvelle famille de modèles conçus pour une inférence rapide et efficace sur de longs contextes, directement sur les processeurs (CPU).
Ces encodeurs exploitent les principes des machines à états liquides (Liquid State Machine) et des réseaux neuronaux à temps continu (Continuous-Time Neural Networks). Cette approche permet de traiter jusqu’à un million de tokens en seulement dix secondes sur un seul cœur de CPU, tout en réduisant la consommation de mémoire jusqu’à cent fois par rapport aux modèles Transformer traditionnels pour des tâches similaires.
Cette innovation rend possible le déploiement de modèles à long contexte sur du matériel courant, des appareils périphériques et même des téléphones mobiles, sans nécessiter de puissants GPU. Les applications potentielles s’étendent au-delà du texte, incluant l’audio, la vidéo et les données de séries temporelles. Les modèles sont d’ores et déjà disponibles sur Hugging Face.
Cette avancée pourrait redéfinir les exigences matérielles pour le déploiement de modèles d’IA à grande échelle.
Source : HuggingFace Blog