Un modèle de génération d’images, capable de créer des visages en 128×128 pixels, a été implémenté avec succès sur un microcontrôleur RP2350. Ce transformeur de flux latent, comptant entre 2,4 et 4 millions de paramètres, est quantifié en int8.
L’exécution complète du modèle sur le microcontrôleur prend environ 20 secondes pour la génération la plus longue. Les images produites sont ensuite affichées sur un écran ou transférées via USB. Le modèle intègre 12 couches, utilise AdaLN-Zero pour le conditionnement et supporte le CFG (Classifier-Free Guidance) pour une meilleure qualité.
Le moteur d’inférence optimise le processus en diffusant les poids depuis la mémoire flash via DMA pendant que la couche précédente est calculée, et l’activation Relu² a été employée. Cette avancée met en lumière la capacité de l’IA générative à fonctionner sur des appareils à ressources limitées, suggérant de nouvelles applications pour l’intelligence artificielle embarquée.
Source : Reddit r/MachineLearning