Une nouvelle visualisation interactive permet désormais d’explorer les 32 070 tokens du vocabulaire du modèle de langage GPT-2 sous la forme d’un arbre hyperbolique. Cette représentation est accessible via une « boule de Poincaré » navigable, offrant une perspective inédite sur l’organisation interne de son lexique.
Cette initiative est présentée comme un suivi d’une projection 2D précédente, qui avait suscité des retours. Elle utilise exclusivement les embeddings bruts des tokens du modèle GPT-2-small. L’espace hyperbolique a été choisi pour sa capacité intrinsèque à modéliser efficacement les structures arborescentes, ce qui rend la disposition des tokens particulièrement cohérente et intuitive.
L’outil est conçu pour être entièrement interactif et fonctionne directement sur les appareils mobiles. Les utilisateurs peuvent naviguer en faisant glisser pour pivoter la vue, pincer pour zoomer, et toucher n’importe quel token pour le centrer, réorganisant ainsi l’ensemble de l’arbre autour de cet élément. Cette interface facilite une exploration approfondie des relations sémantiques.
Cette approche pourrait enrichir la compréhension des liens complexes entre les éléments lexicaux au sein des grands modèles de langage.
Source : Reddit r/MachineLearning