Une analyse visuelle récente a examiné la représentation du jeton « Trump » dans la table d’intégration statique de GPT-2 Small, révélant des différences dans ses voisins sémantiques selon la méthode de représentation.
Cette visualisation, partagée sur Reddit, s’intéresse à la manière dont le modèle encode les mots avant toute application d’attention ou de contexte. Elle utilise une projection t-SNE de 32 070 jetons alphabétiques de deux caractères ou plus, offrant un aperçu de leur organisation spatiale.
L’étude compare les voisins les plus proches du jeton « Trump » sous deux représentations de la même intégration. Dans la version « discrétisée », où chaque coordonnée est seuillée avant le calcul, les termes associés sont principalement des figures politiques génériques.
On y retrouve des noms comme Mitt, Hillary, Pelosi et Blair, suggérant une catégorisation thématique large. Cette approche met en lumière comment la discrétisation peut influencer la perception des relations sémantiques au sein des modèles de langage.
La comparaison avec la représentation continue, bien que moins détaillée dans le résumé, souligne l’importance des choix de modélisation. Comprendre ces géométries d’intégration est crucial pour affiner l’interprétation des comportements des grands modèles de langage.
Ces visualisations offrent un aperçu précieux des mécanismes internes qui façonnent la sémantique des jetons.
Source : Reddit r/MachineLearning