Inférence LLM 11-16x plus rapide sur Apple Silicon via VMs macOS
Une méthode innovante permet d’accélérer l’inférence des LLM de 11 à 16 fois sur les puces Apple Silicon, en utilisant des machines virtuelles macOS avec `llama.cpp`.
llama.cpp
ARPL optimise llama.cpp sur ARM en détectant le matériel
Un nouvel outil, ARPL, améliore les performances de llama.cpp sur les smartphones ARM en adaptant dynamiquement le logiciel aux spécificités matérielles de la puce.
llama.cpp : une optimisation pour réduire l’usage de la VRAM
La bibliothèque llama.cpp introduit une optimisation pour réduire la consommation de VRAM lors de l’exécution de modèles de langage.