Les modèles hybrides prédisent différemment sous-mots et mots entiers
Une étude d’AllenAI révèle que les modèles de langage hybrides prédisent différemment les sous-mots et les mots entiers selon leur nature.
tokenisation
quicktok : un tokeniseur BPE ultra-rapide et compatible avec tiktoken
Un nouveau tokeniseur nommé quicktok, développé en C++, promet d’accélérer significativement les processus de tokenisation pour les modèles d’IA tout en étant compatible avec tiktoken.