Incentivare la Qualità nella Revisione Paritaria in ML: Una Proposta di Sistema a Crediti
Un nuovo position paper su arXiv (2608.14571) affronta la crescente crisi nella revisione paritaria (peer review) nell'apprendimento automatico (ML). Con il numero sempre maggiore di sottomissioni, politiche di revisione reciproca più severe e l'adozione diffusa di piattaforme come OpenReview, la comunità ML si trova ad affrontare una sfida significativa: quasi tutti hanno molte esperienze spiacevoli con il processo di revisione. L'articolo sostiene che la mancanza di tasse di pubblicazione rimuove un deterrente naturale alle sottomissioni eccessive, aggravando il problema. Gli autori propongono un sistema a crediti per incentivare una buona revisione e scoraggiare quella cattiva, andando oltre i semplici appelli a un comportamento migliore. Valutano i meccanismi esistenti, presentando quattro interpretazioni delle pratiche comuni delle conferenze, e suggeriscono due approcci progettuali alternativi. L'articolo mira ad aprire una discussione pubblica seria su ciò che rende efficace un sistema di revisione e su come potrebbe essere migliorato. Il preprint è stato annunciato su arXiv con l'identificatore 2608.14571.
Fatti principali
- Il paper arXiv 2608.14571 è un position paper sulla revisione paritaria in ML.
- Il paper affronta due problemi fondamentali: limitare il volume delle sottomissioni e incentivare una buona revisione.
- Propone un sistema a crediti per incentivare revisioni di qualità.
- Il paper critica i meccanismi esistenti delle conferenze e offre progetti alternativi.
- La comunità ML ha una delle maggiori presenze accademiche a causa dell'alto numero di sottomissioni e di piattaforme come OpenReview.
- La mancanza di tasse di pubblicazione è citata come un fattore nella crisi della revisione.
- Il paper chiede un dibattito pubblico sull'efficacia del sistema di revisione.
- Il preprint è stato annunciato su arXiv con l'identificatore 2608.14571.
Entità
Istituzioni
- arXiv
- OpenReview