Indagine sugli agenti scienziati AI rivela un divario nella verifica nella ricerca computazionale

Un nuovo studio su arXiv (2608.05179) esamina come gli agenti basati su grandi modelli linguistici (LLM) contribuiscono alla ricerca scientifica, concentrandosi sul divario tra codice disponibile e verifica delle affermazioni. I ricercatori hanno esaminato 125 studi potenziali e li hanno ridotti a 35, con 26 sottoposti ad analisi completa. Questo includeva 24 sistemi eseguibili e due articoli che discutevano posizioni o studi. Hanno valutato sette aspetti: fase del ciclo di vita, livello di autonomia, metodi di valutazione, artefatti disponibili, punti di intervento umano, verifica della novità e come vengono condivisi i risultati. Il risultato principale è che, mentre la condivisione del codice è comune, le risorse per la riproducibilità e la verifica delle affermazioni sono ancora carenti. Questa indagine è rilevante per il campo della ricerca sull'IA e evidenzia l'uso crescente di agenti LLM nella ricerca, dalla generazione di idee alla revisione. È una prestampa e non è stata ancora sottoposta a revisione paritaria.