Un article de recherche proposant une technique d’ingénierie de prompt pour améliorer la diversité des grands modèles de langage (LLM) a été accepté à l’ICML, l’une des conférences majeures en apprentissage automatique.
Intitulé « Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity », l’étude présente une astuce simple d’ingénierie de prompt. Cette méthode vise à atténuer le « mode collapse » et à générer des échantillons plus variés, en modifiant la formulation des requêtes.
L’acceptation de ce type de travail suscite des interrogations au sein de la communauté scientifique. Certains observateurs estiment que, malgré son efficacité potentielle, une telle approche relève davantage de l’« alchimie moderne » que d’une analyse théorique rigoureuse attendue d’une conférence de premier plan.
Cette discussion souligne les défis liés à l’évaluation et à la classification des avancées en ingénierie de prompt dans le domaine de la recherche fondamentale.
Source : Reddit r/MachineLearning