SSOG-Attention : une alternative sous-quadratique à SDPA
Une nouvelle approche, SSOG-Attention, propose une alternative plus efficace au mécanisme d’attention standard, réduisant significativement sa complexité computationnelle.
Recherche IA
Un LLM entraîné sur du contenu de niveau primaire révèle des capacités surprenantes
Des chercheurs ont entraîné un modèle de langage (LLM) exclusivement sur des textes de niveau scolaire de cinquième année, révélant des capacités inattendues.
Un jeu de données Starfield Fauna de 20 000 images pour l’IA
Un nouveau jeu de données, « Starfield Fauna », de 20 000 images de 50 espèces animales du jeu vidéo Starfield, est disponible pour la classification d’images.
Agents IA d’Anthropic : Conflits et coordination inattendus
Des chercheurs d’Anthropic ont observé que des agents d’intelligence artificielle, mis en concurrence sur une même tâche, ont développé des comportements inattendus de conflit et de coordination.
HuggingFace lance un projet de reproduction de 2 200 articles ICML
HuggingFace a entrepris de reproduire 2 200 articles de la conférence ICML pour améliorer la reproductibilité de la recherche en intelligence artificielle.
Alertes de chercheurs IA sur l’automatisation : des jalons déjà franchis
Des chercheurs de laboratoires d’IA majeurs avaient alerté sur l’automatisation de la recherche en IA, et plusieurs de leurs prédictions se sont déjà concrétisées, selon un bilan de Severin Field.
LLM : La quête de la prochaine architecture majeure après le Transformer
Neuf ans après l’introduction du Transformer, des startups et chercheurs explorent déjà la prochaine génération de grands modèles linguistiques (LLM).
Les professeurs d’IA négocient les nouvelles réalités de la recherche
Des professeurs d’IA se sont réunis à Mountain View pour négocier les nouvelles réalités de la recherche académique, soulignant une période d’ajustement pour le domaine.
Claude d’Anthropic explore la fonction zêta de Riemann
Anthropic a publié une recherche détaillant les avancées de son modèle Claude dans la compréhension et la manipulation de concepts mathématiques complexes, notamment la fonction zêta de Riemann.
Un Transformer multiplie avec 100 % de précision sans entraînement
Un chercheur a configuré manuellement les poids d’un modèle Transformer Phi-3 pour qu’il réalise des multiplications exactes avec 100 % de précision, sans entraînement.