Olmo-core 3 : une infrastructure ouverte pour les modèles MoE
AllenAI et Hugging Face lancent Olmo-core 3, une infrastructure d’entraînement ouverte et évolutive dédiée aux grands modèles Mixture-of-Experts (MoE).
MoE
SkewAdam : un optimiseur réduit la mémoire des modèles MoE de 97%
Un nouvel optimiseur nommé SkewAdam permet de réduire de 97% la mémoire d’état requise pour l’entraînement des modèles Mixture-of-Experts (MoE), rendant possible leur exécution sur des GPU de 40 Go.
Qwen3.7Max : un modèle MoE open-source rivalise avec les géants de l’IA
Le modèle open-source Qwen3.7Max, basé sur l’architecture MoE, démontre des performances remarquables pour sa taille, défiant des modèles plus grands.
Liquid AI dévoile son modèle MoE 8B-A1B entraîné sur 38T de tokens
Liquid AI a lancé LFM-2.5 8B-A1B, un modèle Mixture-of-Experts de 8 milliards de paramètres entraîné sur 38 trillions de tokens, visant l’efficacité et la performance.
EMO : Quand la modularité des modèles d’IA émerge spontanément
Une nouvelle architecture d’IA, EMO, présentée par AllenAI sur HuggingFace, démontre une capacité inédite à développer une modularité spontanée lors du pré-entraînement.