Une nouvelle méthode nommée ExTernD (Expanded-Rank Ternary Decomposition) a été proposée pour améliorer significativement la quantification ternaire post-entraînement (PTQ) des grands modèles de langage (LLM), permettant une précision proche de celle de n’importe quel niveau de quantification.
La quantification ternaire, qui réduit les poids des modèles à trois valeurs (-1, 0, 1), est très prometteuse pour l’efficacité des LLM en termes de mémoire et de calcul. Cependant, les tentatives précédentes de PTQ ternaire se sont heurtées à des limites de précision dues à la taille fixe des matrices.
L’approche ExTernD résout ce problème en décomposant la matrice originale en deux matrices ternaires et une matrice de mise à l’échelle diagonale interne. Cette décomposition permet un « rang interne » arbitrairement grand, ce qui réduit considérablement la perte de précision.
Les chercheurs indiquent que cette technique permet d’atteindre une précision comparable à celle des méthodes de quantification plus fines, tout en n’exigeant qu’une légère augmentation de la mémoire vidéo (VRAM) par rapport aux méthodes actuelles. Ce compromis est jugé avantageux pour exploiter pleinement les bénéfices de la quantification ternaire.
Cette avancée ouvre des perspectives pour le déploiement de LLM plus légers et plus performants sur des infrastructures limitées.
Source : Reddit r/MachineLearning