I sistemi di revisione paritaria basati sull'IA sono facilmente manipolabili, secondo uno studio

Un recente position paper disponibile su arXiv (2605.03202) sostiene che i grandi modelli linguistici non dovrebbero essere utilizzati per le revisioni paritarie senza una valutazione approfondita. I ricercatori hanno condotto un'analisi empirica confrontando le revisioni generate da umani e IA per ICLR 2026, esaminando anche l'impatto della riscrittura automatica sui revisori IA. Hanno identificato due principali criticità: i revisori IA tendono a mostrare un effetto di mentalità collettiva, portando a un eccessivo accordo tra diversi articoli, che riduce la diversità di prospettive; inoltre, i punteggi delle revisioni generate dall'IA possono essere facilmente manipolati attraverso il paper laundering—riscrivere un articolo con un LLM aumenta significativamente i punteggi dei revisori IA, indicando che le alterazioni stilistiche possono oscurare il merito scientifico. Gli autori sostengono che, sebbene la non manipolabilità e la diversità delle revisioni siano essenziali, non sono sufficienti per l'automazione, esortando alla cautela nell'implementazione dell'IA nella revisione paritaria.