De nombreux articles ayant reçu des évaluations unanimement positives auraient été rejetés lors de la conférence ICML 2024, selon des observations partagées sur Reddit.
Cette situation, rapportée par des chercheurs sur le subreddit r/MachineLearning, soulève des interrogations sur le processus d’évaluation de l’une des conférences majeures en intelligence artificielle. Un utilisateur a notamment mentionné le rejet de son propre article, pourtant noté 4/4/4/4 (4 étant une note d’acceptation forte).
Selon les témoignages, un désalignement des incitations serait à l’œuvre. La phase de réfutation, bien qu’initialement conçue pour affiner les évaluations, créerait une dynamique distordue. Les « Area Chairs » (AC) chercheraient à obtenir des notations homogènes entre les évaluateurs, exerçant une pression implicite sur ces derniers pour qu’ils augmentent leurs scores afin d’éviter des discussions prolongées ou des examens supplémentaires.
Cette tension entre l’objectif d’une évaluation rigoureuse et la pression pour l’homogénéité des scores pourrait impacter la sélection des recherches présentées à l’ICML.
Source : Reddit r/MachineLearning