xPeer Benchmark: Simulare la Revisione Paritaria Accademica con Ragionamento Zero-Shot

Un recente preprint su arXiv (2510.02027) presenta xPeer, un motore di simulazione progettato per la revisione paritaria, insieme a un benchmark composto da due componenti per valutarne l'efficacia. La componente operativa esamina 352 dei 500 record di simulazione che soddisfano i criteri di compito stabile in più campi e tipi di revisione. La sezione di riferimento umano fornisce 1.108 record di manoscritti F1000Research versione 1 abbinati a valutazioni umane, impiegando un confronto predeterminato di due umani contro due output di xPeer. È importante notare che il testo e i suggerimenti generati dagli umani non sono stati inclusi nell'input per la generazione, e l'integrazione delle fonti è avvenuta solo dopo che gli output di xPeer sono stati finalizzati, stabilendo una sospensione della revisione a livello di flusso di lavoro. Su 802 record con due valutazioni umane, solo 271 avevano due campi di revisore xPeer applicabili, con un tasso di disponibilità di coppie complete del 33,8%. Questo studio mira a migliorare la valutazione scalabile nella pubblicazione accademica, supportato da prove verificabili. Il benchmark è accessibile tramite il sito web xPeerd.com. L'articolo delinea la metodologia e i risultati iniziali, evidenziando l'importanza del ragionamento zero-shot nella simulazione del processo di revisione paritaria, particolarmente pertinente data la crescente mole di pubblicazioni e la domanda di meccanismi di revisione efficienti.