Carte interactive de l’espace d’embeddings de tokens de GPT-2
Une carte interactive a été développée pour visualiser l’espace d’intégration des 32 070 tokens alphabétiques du modèle GPT-2-small, révélant leurs relations sémantiques latentes.
Embeddings
Analyse de la géométrie d’intégration du jeton « Trump » dans GPT-2 Small
Une analyse visuelle récente a examiné la représentation du jeton « Trump » dans la table d’intégration statique de GPT-2 Small, révélant des différences dans ses voisins sémantiques selon la méthode de représentation.