Une nouvelle approche de l’architecture des modèles d’intelligence artificielle, baptisée EMO (Emergent Modularity), a été présentée par AllenAI sur le blog HuggingFace, mettant en lumière une modularité spontanée lors du pré-entraînement.
EMO se base sur le concept des « Mixture of Experts » (MoE), où un modèle est composé de plusieurs sous-réseaux spécialisés, ou « experts », et d’un « routeur » qui dirige les données d’entrée vers les experts les plus pertinents. L’innovation majeure d’EMO réside dans sa capacité à développer cette spécialisation de manière émergente.
Contrairement aux architectures MoE traditionnelles où la spécialisation des experts est souvent prédéfinie ou explicitement guidée, EMO voit ses modules se spécialiser naturellement durant la phase de pré-entraînement. Chaque expert apprend à gérer des types de données ou des tâches spécifiques sans intervention humaine directe, optimisant ainsi l’allocation des ressources computationnelles.
Cette auto-organisation pourrait conduire à des modèles plus efficaces, capables de mieux généraliser et potentiellement plus interprétables, car le domaine de compétence de chaque expert devient identifiable. Cette avancée représente un pas vers des architectures d’IA plus autonomes et adaptables.
Cette approche pourrait ouvrir de nouvelles voies pour la conception d’architectures d’IA plus flexibles et performantes.
Source : HuggingFace Blog