La bibliothèque Transformers de Hugging Face intègre désormais la prise en charge des modèles quantifiés via `llama.cpp`, rendant les grands modèles de langage plus accessibles.
Le DLAB Open Source Week a mis en lumière des avancées significatives pour rendre les modèles d’IA de pointe accessibles sur du matériel grand public.
Une nouvelle technique, nommée « Quantization-Aware Healing », permet de créer des modèles d’intelligence artificielle compressés à 4 bits qui surpassent les performances de leurs versions originales en pleine précision.
Liquid AI a mis à disposition une nouvelle série de modèles, les LFM2.5 Q4_0, optimisés pour l’efficacité grâce à une technique de distillation consciente de la quantification.
Hugging Face a intégré Nunchaku 4-bit à Diffusers, rendant l’inférence des modèles de diffusion plus rapide et moins gourmande en mémoire.
Une nouvelle méthode nommée ExTernD améliore la quantification ternaire des LLM, permettant une précision élevée avec une légère augmentation de la VRAM.
Une étude compare les performances de Gemma 2 9B auto-hébergé sur une NVIDIA L4 aux API cloud, analysant l’impact de la quantification FP8 et la VRAM.
Un développeur a conçu un moteur d’inférence de LLM 1-bit en Rust, offrant 150+ TPS et 350 Mo de mémoire sur des CPU périphériques.
NVIDIA a publié une version quantifiée du modèle de langage Qwen3.6-35B-A3B d’Alibaba, optimisée pour des performances d’inférence accrues.
DeepSeek a publié la version complète de son article V4, détaillant l’entraînement avec quantification consciente (QAT) en FP4 pour une efficacité accrue.
Le média francophone de référence sur l'intelligence artificielle. Analyses, tutoriels et décryptages pour comprendre l'IA.