La plateforme de données pair-à-pair iroh a développé « Mesh LLM », une approche de calcul distribué permettant l’exécution de grands modèles de langage (LLM) sur un réseau de machines.
Iroh, connue pour sa gestion de données par adresses de contenu, propose de fragmenter les poids des modèles LLM en morceaux. Ces fragments sont ensuite distribués et partagés entre les différents nœuds d’un réseau, permettant à des appareils moins puissants d’accéder à l’inférence de modèles complexes comme Llama 3 8B. Cette méthode réduit la dépendance aux infrastructures centralisées.
Cette architecture décentralisée offre plusieurs avantages. Elle promet une réduction significative des coûts d’inférence, une amélioration de la confidentialité en gardant les données plus localement, et une résilience accrue face aux pannes. Elle ouvre également la voie à l’exécution de l’IA sur des appareils périphériques et des ordinateurs personnels, démocratisant ainsi l’accès aux capacités des LLM.
Cette initiative explore une voie pour une intelligence artificielle plus accessible et distribuée.
Source : Hacker News (Algolia)