Un étudiant en informatique a développé mlx-Chronos, un outil open source qui propose un classement communautaire pour évaluer les moteurs d’inférence de grands modèles de langage (LLM) sur les puces Apple Silicon.
Ce projet répond à un besoin identifié par son créateur : l’absence de benchmarks fiables et standardisés pour comparer les performances des moteurs d’inférence MLX. Les outils existants sont souvent biaisés, réalisés par les développeurs des moteurs eux-mêmes, ou testés sur du matériel haut de gamme peu accessible au grand public.
mlx-Chronos est un outil en ligne de commande (CLI) open source qui exécute un protocole de benchmark standardisé sur les Mac équipés de puces Apple Silicon. Il mesure notamment le temps de premier jeton (TTFT) à froid et en cache, ainsi que le nombre de jetons par seconde (tok/s) avec un contexte précis.
Les utilisateurs peuvent soumettre leurs résultats à un classement communautaire partagé, permettant une comparaison objective des performances entre des moteurs comme oMLX, Rapid-MLX, mlx-lm et Ollama. Cette initiative vise à fournir une base de données comparative transparente et accessible, facilitant le choix et l’optimisation des solutions LLM locales pour les utilisateurs d’Apple Silicon.
Source : Reddit r/MachineLearning