Une récente expérience révèle que la précision des systèmes de calcul analogique en mémoire, soumis à un entraînement sensible au bruit, chute brutalement au-delà d’un certain seuil, plutôt que de se dégrader progressivement.
Le calcul analogique en mémoire suscite un regain d’intérêt dans le domaine de l’intelligence artificielle. Il est envisagé comme une solution pour réduire la consommation énergétique liée au déplacement des poids entre la mémoire et l’unité de calcul, un défi majeur des architectures numériques actuelles. Cependant, le bruit inhérent aux cellules analogiques constitue une objection persistante, car, contrairement au numérique, il ne peut être éliminé par simple rafraîchissement.
Pour mieux comprendre l’impact de ce bruit, une expérience simple a été menée : un réseau neuronal a été entraîné de manière standard, puis évalué sous des niveaux croissants de bruit appliqué aux poids. Les résultats ont montré que la courbe de dégradation de la précision n’est pas linéaire. L’exactitude s’effondre de manière abrupte une fois un certain niveau de bruit atteint, contredisant l’hypothèse d’une dégradation graduelle. Cette découverte suggère que la robustesse des systèmes analogiques face au bruit pourrait être plus fragile qu’anticipé, avec des conséquences potentiellement importantes pour leur déploiement pratique.
Cette compréhension de la nature non linéaire de la dégradation de la précision ouvre de nouvelles pistes pour la conception et l’optimisation des architectures de calcul analogique.
Source : Reddit r/MachineLearning