ONNX Runtime surpasse Hugging Face pour l’inférence CPU de Parakeet TDT
Une étude comparative révèle qu’ONNX Runtime est 37% plus rapide que HF Transformers pour l’inférence CPU du modèle Parakeet TDT 0.6B.
ONNX Runtime
Basculement silencieux du NPU Snapdragon vers le CPU : un défi pour l’IA embarquée
Une faille critique impacte l’exécution de modèles d’IA sur Snapdragon : les opérations NPU basculent silencieusement vers le CPU, triplant la latence en production sans alerte.