Revisione Paritaria Basata su LLM: Le Linee Guida Ufficiali Superano l'Imitazione
Ricercatori in informatica hanno condotto uno studio esaminando l'impatto di varie linee guida per revisori sulla revisione paritaria automatizzata utilizzando LLM. I risultati indicano che le linee guida ufficiali delle conferenze si allineano più strettamente con le valutazioni umane, mentre le linee guida che imitano i revisori basate su feedback umano di alta qualità tendono ad essere meno efficaci. Inoltre, l'implementazione di un sistema di punteggio rigido basato su rubriche compromette costantemente le prestazioni, sottolineando l'importanza di metodi di valutazione soggettivi e completi. Questi risultati implicano che i criteri di valutazione sviluppati attraverso le pratiche delle conferenze possono guidare efficacemente i processi di revisione automatizzata.
Fatti principali
- L'automazione della revisione paritaria è sempre più necessaria a causa del crescente carico di lavoro.
- Le linee guida ufficiali delle conferenze producono risultati di revisione più coerenti con i giudizi umani.
- Le linee guida che imitano i revisori generate da revisioni umane utilizzando LLM sono meno efficaci.
- Un sistema di punteggio rigido basato su rubriche degrada costantemente le prestazioni.
- La valutazione soggettiva e olistica è importante per una revisione automatizzata efficace.
- Lo studio è pubblicato su arXiv nella sezione Computer Science > Computation and Language.
- L'articolo è intitolato 'Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review'.
- L'ID arXiv è 2607.22553.
Entità
Istituzioni
- arXiv