Une carte interactive explorant l’espace d’intégration des tokens du modèle GPT-2 a été mise à disposition, offrant une visualisation des relations entre 32 070 tokens alphabétiques.
Développée par un utilisateur de Reddit, cette ressource se base sur les embeddings de tokens (WTE) de GPT-2-small. Elle fonctionne sans passage avant (forward pass) ni contexte, illustrant les relations intrinsèques des tokens. L’interface est conçue pour être accessible sur mobile, permettant le zoom, la navigation par tapotement sur les tokens et leurs voisins, ainsi qu’une fonction de recherche.
La disposition de la carte utilise l’algorithme t-SNE appliqué à une représentation compressée de la table d’embeddings. Les connexions, ou arêtes, sont formées par un arbre couvrant minimal dans cet espace, garantissant que chaque ligne représente une relation de proximité réelle entre les tokens. Cette visualisation offre un aperçu des structures sémantiques latentes que le modèle a apprises.
Cette initiative ouvre des pistes pour une meilleure compréhension des représentations internes des modèles de langage.
Source : Reddit r/MachineLearning