Un nouvel outil, baptisé Claude Token Counter, permet désormais de comparer la manière dont différents modèles d’intelligence artificielle traitent les textes, en se basant sur leur comptage de tokens.
Développé par Simon Willison, cet outil gratuit et open-source offre une visualisation claire des différences entre les modèles, notamment ceux d’Anthropic comme Claude 3 Opus, Sonnet et Haiku, ainsi que des modèles d’OpenAI tels que GPT-4 Turbo et GPT-3.5 Turbo.
L’objectif est de mieux comprendre les coûts et les limites liés à la taille des contextes des modèles, un facteur essentiel pour le développement d’applications d’IA performantes et économiquement viables. L’outil invite à explorer ces différences pour optimiser l’usage des LLM.
Source : Hacker News (Algolia)