Un modèle de langage de 28,9 millions de paramètres a été exécuté avec succès sur un microcontrôleur ESP32-S3, dont le coût avoisine les 8 dollars.
Le projet `esp32-ai`, développé par `slvDev`, illustre une avancée notable dans l’intégration de l’intelligence artificielle sur des systèmes embarqués. Il démontre la capacité d’un microcontrôleur ESP32-S3, une puce à faible coût et basse consommation, à héberger un modèle de langage (LLM) de cette taille.
Cette prouesse technique ouvre des perspectives pour le déploiement d’applications d’IA directement sur des appareils périphériques (edge AI), sans nécessiter de connexion constante au cloud. Elle pourrait favoriser l’émergence de solutions d’IA plus abordables et plus autonomes, notamment dans l’Internet des Objets (IoT) ou les systèmes embarqués. La capacité à exécuter des modèles de cette complexité sur du matériel aussi contraint suggère une démocratisation accrue de l’IA, permettant des traitements locaux et réduisant la latence ainsi que les besoins en bande passante.
Cette initiative souligne l’évolution rapide des capacités de l’IA embarquée et les défis techniques qui restent à explorer pour optimiser davantage ces déploiements.
Source : Hacker News (Algolia)