La communauté de la recherche en intelligence artificielle semble s’éloigner progressivement d’une approche fortement axée sur les mathématiques pures, au profit de l’expérimentation et de la conception architecturale.
Une discussion récente sur Reddit, au sein de la communauté Machine Learning, met en lumière cette tendance. Avant même l’essor des grands modèles de langage (LLM), de nombreuses publications se concentraient déjà sur les découvertes empiriques, les designs d’architectures et les modifications des fonctions de perte. Bien que ces domaines nécessitent des bases mathématiques, l’accent s’est déplacé.
Après l’avènement des LLM, un nombre croissant de travaux décrivent des pipelines de systèmes existants, présentant souvent une profondeur mathématique limitée. Cependant, des domaines tels que l’apprentissage par renforcement et l’optimisation continuent d’exiger une expertise mathématique avancée.
Cette évolution soulève des interrogations sur l’équilibre entre la rigueur théorique et l’efficacité pratique dans le développement de l’IA.
Source : Reddit r/MachineLearning