Un article de position soumis à l’ICML propose d’instaurer un système de crédits pour améliorer la qualité des évaluations des soumissions dans les conférences de machine learning.
L’auteur de la proposition souligne que l’expérience de soumission et d’évaluation des articles est fréquemment source d’insatisfaction au sein de la communauté. Il met en lumière un manque d’outils efficaces pour garantir la responsabilité des évaluateurs et les inciter à fournir des retours constructifs.
Face à ce constat, l’approche suggérée consiste à dépasser les appels à la bonne volonté pour adopter un mécanisme d’incitation plus structuré. L’idée est d’introduire un système de crédits, visant à motiver les relecteurs et à élever le niveau général des évaluations.
Cette initiative s’inscrit dans une réflexion plus large sur l’amélioration des processus académiques, essentiels à l’avancement rapide du domaine de l’intelligence artificielle. La mise en place d’un tel système pourrait potentiellement transformer l’engagement des évaluateurs et la pertinence des retours. Reste à voir comment une telle réforme pourrait être concrètement implémentée et perçue par la communauté scientifique.
Source : Reddit r/MachineLearning