Un cadre PyTorch-like pour un entraînement agnostique des LLM
Un nouveau cadre d’entraînement, baptisé « Harness Training », permet d’améliorer les capacités des modèles de langage de manière agnostique au modèle et à l’environnement de tâche.
Recherche IA
L’efficacité des codes de données dépend du consommateur, pas seulement de la reconstruction
Une étude révèle que l’efficacité d’un code de données pour une tâche en aval dépend crucialement du consommateur final, et non uniquement de son erreur de reconstruction.
Analyse de la géométrie d’intégration du jeton « Trump » dans GPT-2 Small
Une analyse visuelle récente a examiné la représentation du jeton « Trump » dans la table d’intégration statique de GPT-2 Small, révélant des différences dans ses voisins sémantiques selon la méthode de représentation.
Interprétabilité mécaniste : une première étude sur un neurone convolutif
Une première étude en interprétabilité mécaniste détaille le fonctionnement d’un neurone convolutif en utilisant le produit de Hadamard pour identifier les motifs qu’il détecte.
Claude : Anthropic observe les « pensées internes » de son IA
Anthropic a récemment dévoilé une méthode permettant d’observer les « pensées internes » de son modèle d’IA Claude lors de ses processus de raisonnement.
Anthropic : une nouvelle découverte en IA analysée par le MIT
Anthropic, l’une des entreprises d’IA les plus valorisées, a fait une découverte analysée par le MIT Technology Review, explorant les limites de l’intelligence artificielle.
L’entropie de l’espace J, un prédicteur d’erreurs pour les LLM
Une étude évalue l’entropie de l’espace J, une mesure interne aux modèles de langage, comme un indicateur potentiel d’erreurs, complétant la confiance des modèles.
Une technique de prompt-engineering pour la diversité des LLM acceptée à l’ICML
Un article sur une astuce d’ingénierie de prompt pour la diversité des LLM a été accepté à l’ICML, suscitant des débats sur sa nature scientifique.
Une taxonomie des modèles de monde proposée sur Reddit
Un utilisateur de Reddit a partagé une taxonomie des modèles de monde en IA, visant à simplifier leur compréhension et à classer les différentes approches.
Interrogation sur une figure clé du papier LoRA
Un utilisateur de Reddit s’interroge sur une figure clé du papier LoRA concernant la similarité de sous-espaces, soulevant des questions sur les paramètres ‘i’ et ‘j’.