quicktok : un tokeniseur BPE ultra-rapide et compatible avec tiktoken
Un nouveau tokeniseur nommé quicktok, développé en C++, promet d’accélérer significativement les processus de tokenisation pour les modèles d’IA tout en étant compatible avec tiktoken.