Hugging Face a lancé @huggingface/kernels, une collection de plus de 200 noyaux WebGPU conçus pour l’inférence d’IA locale directement dans les navigateurs web.
Cette initiative vise à accélérer l’exécution des modèles d’intelligence artificielle côté client en tirant parti de l’API WebGPU, qui permet un accès direct aux capacités de traitement graphique des appareils. L’intégration de ces noyaux dans la bibliothèque transformers.js de Hugging Face ouvre la voie à des applications web plus performantes et respectueuses de la vie privée, les données restant sur l’appareil de l’utilisateur.
Les @huggingface/kernels fournissent une API de bas niveau, offrant aux développeurs la flexibilité de créer des opérations personnalisées pour leurs modèles. Cette approche réduit la latence réseau et les coûts d’infrastructure serveur, tout en améliorant l’efficacité énergétique. Elle représente une étape significative vers la démocratisation de l’IA embarquée dans les applications web.
L’adoption de cette technologie pourrait transformer la manière dont les modèles d’IA sont déployés et utilisés sur le web, ouvrant de nouvelles perspectives pour l’IA décentralisée.
Source : HuggingFace Blog