Liquid AI, une entreprise spécialisée en intelligence artificielle, a dévoilé LFM-2.5 8B-A1B, un modèle de langage à architecture Mixture-of-Experts (MoE) entraîné sur un ensemble de données massif de 38 trillions de tokens.
Ce nouveau modèle, disponible en open source, se distingue par sa taille compacte de 8 milliards de paramètres tout en affirmant des performances comparables à celles de modèles bien plus grands, allant jusqu’à 70 milliards de paramètres. Liquid AI souligne l’efficacité de son architecture MoE et l’intégration d’une technique de quantification « Adaptive 1-Bit » (A1B) pour optimiser l’inférence.
L’entraînement sur 38 trillions de tokens représente l’un des plus vastes corpus de données jamais utilisés pour un modèle de cette catégorie. Cette approche vise à concilier performances de pointe et efficacité opérationnelle, rendant le modèle particulièrement adapté aux applications nécessitant une inférence rapide et des ressources optimisées.
La disponibilité de LFM-2.5 8B-A1B sur Hugging Face permettra à la communauté de l’IA d’évaluer son potentiel dans divers cas d’usage.
Source : Hacker News (Algolia)