Implémenter un modèle de langage par diffusion à partir de zéro s’est avéré plus aisé que prévu pour un chercheur, qui a partagé son expérience sur Reddit. Lassé de dépendre des outils d’aide au codage par IA, il a décidé de coder lui-même un tel modèle, sans assistance automatisée, durant le temps d’attente pour l’entraînement de sa thèse de master.
Après quelques heures d’entraînement sur son MacBook Air M2, en utilisant le jeu de données réduit « Tiny Shakespeare » de Karpathy, le modèle a produit des résultats notables. Prompté avec « to be, », il a généré une suite de texte évoquant le style shakespearien, comme « To be, fo hend! First her sense ountier to Jupits, be horse. Words of wisdom! ».
Cette démarche soulève des questions sur l’accessibilité de la création de modèles d’IA complexes et l’autonomie des développeurs face aux outils d’assistance.
Source : Reddit r/MachineLearning