Revisione Paritaria Assistita dall'IA: Politiche e Qualità delle Recensioni dei Modelli Linguistici di Grandi Dimensioni nelle Diverse Comunità di Ricerca

Una recente indagine pubblicata su arXiv (2608.03581) esplora a fondo il ruolo dell'IA nella revisione paritaria, concentrandosi sui quadri normativi e sulla qualità delle recensioni prodotte dall'IA. Il team ha analizzato le politiche sull'IA rivolte ai revisori in 111 importanti conferenze AI/NLP e riviste mediche, scoprendo notevoli disparità normative tra i due settori. Hanno valutato le revisioni paritarie generate dall'IA da ICLR 2026 e Nature Communications, utilizzando un dataset unico di manoscritti originali insieme a centinaia di critiche umane e generate da macchine. La ricerca confronta le recensioni di modelli open-source e proprietari attraverso varie metriche di valutazione, come LLM-as-a-Judge e allineamento dei punteggi. I risultati suggeriscono che gli LLM esistenti possono produrre recensioni articolate e complete, sottolineando la crescente integrazione dell'IA nella pubblicazione scientifica e la necessità di una comprensione sistematica delle sue normative e capacità.