SSOG-Attention : une alternative sous-quadratique à SDPA
Une nouvelle approche, SSOG-Attention, propose une alternative plus efficace au mécanisme d’attention standard, réduisant significativement sa complexité computationnelle.
transformeurs
Les startups à la poursuite de la prochaine génération de LLM
Le MIT Technology Review explore comment des startups cherchent à innover dans les grands modèles de langage, s’appuyant sur l’héritage du papier « Attention Is All You Need » de 2017.
Un compilateur génère des poids de transformeur sans entraînement
Un développeur a créé un compilateur qui transforme des graphes de calcul en poids de transformeur standard, sans nécessiter d’entraînement.
DiScoFormer : un transformeur unique pour densité et score
DiScoFormer est un nouveau modèle transformeur capable d’estimer simultanément la densité de probabilité et le score de données, quelle que soit leur distribution.
Orthrus : une méthode efficace pour la génération parallèle de jetons
Une nouvelle méthode nommée Orthrus promet d’accélérer significativement la génération de jetons pour les transformeurs autorégressifs, tout en optimisant l’utilisation de la mémoire.