Liquid AI a mis à disposition une nouvelle série de modèles, les LFM2.5 Q4_0, optimisés pour l’efficacité grâce à une technique de distillation consciente de la quantification.
Ces modèles représentent une avancée dans la réduction de la taille des réseaux neuronaux sans compromettre leurs performances. La méthode employée, la distillation consciente de la quantification (Quantization-Aware Distillation ou QAD), combine la quantification des poids (passage de 32 bits à 4 bits entiers) avec la distillation de modèle. Cette approche permet à un modèle plus petit d’imiter les capacités d’un modèle plus grand et plus complexe.
L’objectif principal est de rendre les modèles d’IA plus légers et plus rapides. Les LFM2.5 Q4_0 offrent une inférence accélérée et une empreinte mémoire considérablement réduite, jusqu’à huit fois moins d’espace. Cette optimisation les rend particulièrement adaptés aux déploiements sur des appareils à ressources limitées, tels que les smartphones ou les dispositifs IoT, élargissant ainsi les cas d’usage de l’intelligence artificielle.
La disponibilité de ces checkpoints sur Hugging Face marque une étape vers la démocratisation des modèles d’IA performants. En rendant l’IA plus accessible et moins gourmande en ressources, Liquid AI contribue à faciliter l’intégration de capacités avancées dans un éventail plus large d’applications. Cette initiative ouvre la voie à une adoption plus vaste de l’IA sur des plateformes diversifiées.
Source : HuggingFace Blog