Un utilisateur de Reddit a partagé son expérience « étrange » du processus d’évaluation de NeurIPS, soulevant des questions sur la qualité des retours et le respect de l’anonymat. Le témoignage, publié sur r/MachineLearning sous le titre « NeurIPS AI Assisted Review authors/reviewers? », décrit une disparité notable dans la profondeur des évaluations.
En tant que relecteur, l’utilisateur a fourni des commentaires détaillés et constructifs, incluant des suggestions d’amélioration spécifiques. Cependant, il a constaté que d’autres évaluateurs soumettaient des critiques plus superficielles, se concentrant parfois sur des aspects mineurs, même pour des articles qu’il considérait comme des contrôles (sans implication de modèles de langage). Cette observation suggère une hétérogénéité dans l’engagement des relecteurs, potentiellement dans le contexte des discussions sur les évaluations assistées par IA.
Plus préoccupant encore, durant la période de discussion pour un article, un évaluateur aurait enfreint la condition de double anonymat. Cette situation soulève des interrogations sur l’intégrité du processus d’évaluation et la cohérence des standards appliqués au sein de conférences majeures en intelligence artificielle.
Source : Reddit r/MachineLearning