Un développeur a conçu un compilateur capable de convertir des graphes de calcul définis en Python directement en poids pour un modèle transformeur standard, sans aucune phase d’entraînement.
Cette initiative vise à sonder les capacités expressives inhérentes aux transformeurs, indépendamment de leur processus d’apprentissage. Le compilateur génère un checkpoint compatible avec l’architecture Phi-3, qui peut être chargé par la bibliothèque Hugging Face sans nécessiter de code personnalisé ou l’activation de l’option trust_remote_code.
L’absence totale d’entraînement dans cette chaîne de production met en lumière la capacité d’un transformeur à exécuter des algorithmes prédéfinis. Cette approche permet d’étudier les fondements computationnels des transformeurs, leur aptitude à incarner diverses logiques et ouvre des pistes pour une compréhension approfondie de leurs mécanismes internes en tant qu’architectures programmables.
Source : Reddit r/MachineLearning