Des chercheurs ont mis au point EMO, un modèle d’intelligence artificielle capable de maintenir des performances quasi optimales en n’utilisant qu’un huitième de ses composants spécialisés. Cette avancée, issue des travaux de l’Allen Institute for AI et de l’UC Berkeley, pourrait transformer l’accessibilité des modèles d’IA complexes.
Les modèles « Mixture-of-Experts » (MoE) sont réputés pour leur capacité à gérer de vastes ensembles de données en dirigeant les requêtes vers des « experts » spécifiques. Cependant, leur architecture dense les rend gourmands en mémoire, limitant leur déploiement. EMO se distingue en spécialisant ses experts non pas par types de mots, mais par domaines de contenu, une approche novatrice.
Grâce à cette conception, il est possible de retirer jusqu’à trois quarts des experts du modèle sans que la performance globale ne diminue de plus d’un point de pourcentage. Cette optimisation drastique de la consommation de mémoire rend les modèles MoE pour la première fois envisageables pour des environnements aux ressources limitées.
Cette innovation ouvre de nouvelles perspectives pour l’intégration de l’IA avancée dans des systèmes où la contrainte de mémoire était auparavant un obstacle majeur.
Source : The Decoder