Un chercheur indépendant a démontré qu’un modèle Transformer peut réaliser des opérations arithmétiques exactes avec une précision de 100 % en configurant manuellement ses poids, sans aucun entraînement. Cette expérience remet en question la perception courante selon laquelle ces architectures sont intrinsèquement faibles en calcul.
Partant du constat que les modèles Transformer peinent généralement avec l’arithmétique précise, l’objectif était de vérifier si un modèle standard pouvait effectuer des calculs exacts si ses poids étaient directement définis. L’expérimentateur a implémenté l’algorithme de multiplication tel qu’enseigné à l’école sous forme de graphe de calcul.
Ce graphe a ensuite été compilé en un checkpoint Phi-3 de Hugging Face, un modèle Transformer, grâce à un compilateur maison nommé Torchwright. Sans aucune phase d’apprentissage, la « calculatrice » à trois chiffres a résolu correctement les 3 millions d’expressions prises en charge. Des checkpoints sont disponibles, gérant des multiplications jusqu’à 12 chiffres par 1. Cette approche soulève des questions sur les capacités intrinsèques des architectures Transformer et leur potentiel pour des tâches symboliques précises.
Source : Reddit r/MachineLearning