Un projet personnel a développé un modèle d’IA basé sur l’architecture hebbienne, se distinguant par l’absence de rétropropagation et de gradients.
Ce modèle, fruit d’un projet personnel partagé sur Reddit, s’appuie sur les principes de l’apprentissage hebbien, où les connexions neuronales se renforcent lorsque des neurones s’activent simultanément. Il se démarque des architectures neuronales classiques en n’utilisant ni la rétropropagation ni les gradients pour son entraînement.
L’architecture neuronale, qualifiée de « substrat », a évolué d’un million de neurones à 100 000 entre les versions. Les connexions entre ces neurones ne sont pas prédéfinies, mais émergent naturellement au cours de l’entraînement. Des résultats ont été obtenus après 50 époques de formation sur le jeu de données CIFAR-10.
Cette approche explore des voies alternatives à l’apprentissage profond conventionnel, suggérant des méthodes d’entraînement différentes pour les modèles d’intelligence artificielle.
Source : Reddit r/MachineLearning