Visualisation hyperbolique du vocabulaire de GPT-2
Une nouvelle visualisation interactive permet d’explorer les 32 070 tokens du vocabulaire de GPT-2 sous la forme d’un arbre hyperbolique dans une boule de Poincaré.
GPT-2
Carte interactive de l’espace d’embeddings de tokens de GPT-2
Une carte interactive a été développée pour visualiser l’espace d’intégration des 32 070 tokens alphabétiques du modèle GPT-2-small, révélant leurs relations sémantiques latentes.
Analyse de la géométrie d’intégration du jeton « Trump » dans GPT-2 Small
Une analyse visuelle récente a examiné la représentation du jeton « Trump » dans la table d’intégration statique de GPT-2 Small, révélant des différences dans ses voisins sémantiques selon la méthode de représentation.
NanoEuler : un modèle GPT-2 en C/CUDA pour une compréhension bas niveau des LLM
Un développeur a créé NanoEuler, une implémentation de modèle de langage à l’échelle de GPT-2, entièrement en C et CUDA, dans le but d’approfondir la compréhension des systèmes d’IA à un niveau bas.
OpenAI juge GPT-2 trop dangereux pour une publication complète en 2019
En 2019, OpenAI a annoncé ne pas vouloir publier intégralement son modèle de langage GPT-2, le jugeant trop dangereux en raison de sa capacité à générer du texte.