Un développeur a créé un outil pédagogique innovant permettant de visualiser en temps réel le fonctionnement interne d’un petit perceptron multi-couches (PMC) pendant son entraînement. Conçu entièrement en NumPy, sans recours à l’autograd, cet outil offre une transparence inédite sur les mécanismes d’apprentissage profond.
L’implémentation inclut une rétropropagation manuelle, une descente de gradient stochastique (DGS) avec momentum, la régularisation L2, le dropout, une décroissance cosinusoïdale du taux d’apprentissage et quatre fonctions d’activation. Sur le jeu de données MNIST, le modèle atteint une précision d’environ 98,5 % avec l’ensemble d’entraînement complet.
L’interface utilisateur graphique (IUG) affiche des métriques clés durant l’entraînement, telles que la perte par mini-lot et par époque, la norme du gradient de chaque couche, le pourcentage de neurones inactifs, les distributions des poids (actuelles et initiales), des visualisations t-SNE par couche et des fonctionnalités d’ablation de neurones. Cette approche vise à démystifier les processus complexes des réseaux neuronaux.
Cette initiative, partagée sur Reddit, est spécifiquement destinée aux éducateurs et aux apprenants en machine learning, leur offrant une perspective concrète sur les dynamiques internes des modèles. Elle rend plus accessible la compréhension des mécanismes d’apprentissage profond.
Source : Reddit r/MachineLearning