I modelli linguistici di grandi dimensioni mostrano potenziale per la valutazione automatizzata della ricerca scientifica

I recenti sviluppi nei modelli linguistici di grandi dimensioni (LLM) aprono nuove strade per automatizzare la valutazione della qualità della ricerca scientifica. Questo studio esamina la capacità degli LLM di assistere nella revisione tra pari post-pubblicazione confrontando i loro risultati con valutazioni di esperti e metriche di citazione. I ricercatori hanno ideato due compiti di valutazione utilizzando articoli della piattaforma H1 Connect: uno focalizzato sull'identificazione di articoli di alta qualità e un altro su valutazioni dettagliate, inclusi punteggi degli articoli, classificazioni di merito e commenti in stile esperto. Sono stati testati vari modelli, come i modelli BERT e LLM generici, con diverse strategie di apprendimento. I risultati rivelano che gli LLM eccellono nelle valutazioni a grana grossa, raggiungendo un'accuratezza notevole. Questo studio evidenzia i limiti degli attuali metodi di valutazione della qualità della ricerca, che spesso lottano con problemi di scalabilità, soggettività e ritardi, suggerendo che le valutazioni automatizzate basate sull'analisi testuale potrebbero rivoluzionare la comunicazione accademica.