Des chercheurs ont entraîné un modèle de langage (LLM) exclusivement sur des textes de niveau scolaire de cinquième année, révélant des capacités inattendues.
Le projet « Little Learner LL » a filtré ses données d’entraînement pour ne retenir que du contenu dont le score Flesch-Kincaid est égal ou inférieur à 5. L’objectif était d’évaluer les compétences d’un LLM privé d’exposition à un langage complexe.
Contre toute attente, le modèle a démontré des aptitudes en raisonnement, en résumé et même en programmation, bien que ses réponses soient formulées avec un vocabulaire et une syntaxe simplifiés. Cette étude suggère que la capacité de raisonnement ne dépendrait pas uniquement d’une exposition à un langage sophistiqué.
Ces résultats ouvrent des pistes pour le développement de modèles plus accessibles, adaptés à l’éducation ou à des usages nécessitant une communication simplifiée, et interrogent sur la nature intrinsèque de l’apprentissage des LLM.
Source : Hacker News (Algolia)