CoCoReviewBench: Benchmark per la Valutazione dei Revisori AI

I ricercatori hanno introdotto CoCoReviewBench, un benchmark progettato per valutare i revisori AI con un focus su completezza e correttezza. Il benchmark affronta l'inaffidabilità delle revisioni umane come riferimenti gold costruendo sottoinsiemi specifici per categoria e saltando la valutazione quando le revisioni umane sono assenti. Sfrutta le discussioni revisore-autore-meta-revisore come annotazioni esperte e filtra le revisioni inaffidabili. CoCoReviewBench cura 3.900 articoli da ICLR e NeurIPS, consentendo una valutazione granulare. L'analisi rivela che i revisori AI sono limitati in correttezza e inclini ad allucinazioni, con i modelli di ragionamento che si dimostrano più efficaci.