La communauté ML débat du principal goulot d’étranglement pour le progrès : la qualité des données ou les architectures de modèles, alors que l’accent est mis sur la curation des jeux de données.
Une analyse architecturale récente suggère que les modèles de raisonnement actuels ne peuvent pas effectuer une inférence fidèle en raison de l’origine unique de leur trace et de leur réponse.
Le couplage résiduel (RC) permet de connecter des modèles de langage (LLM) pré-entraînés en parallèle sans modifier leurs poids, optimisant leur mise à l’échelle.
Une nouvelle architecture d’IA, EMO, présentée par AllenAI sur HuggingFace, démontre une capacité inédite à développer une modularité spontanée lors du pré-entraînement.
SubQ AI dévoile un modèle de langage sub-quadratique capable de traiter 12 millions de tokens.
CTNet, une nouvelle architecture IA, repense le calcul comme une transition d’état persistant plutôt qu’une simple réécriture.
Le média francophone de référence sur l'intelligence artificielle. Analyses, tutoriels et décryptages pour comprendre l'IA.