Modelli di IA imparano a prevedere il successo della ricerca tramite valutazione comparativa

Ricercatori del preprint arXiv 2605.21491 indagano se i modelli linguistici possono prevedere il successo empirico di idee di ricerca senza sperimentazione preliminare. Introducono la previsione empirica comparativa: dato un obiettivo di benchmark e due idee candidate, prevedere quale produce prestazioni migliori. È stato costruito un dataset di 11.488 coppie di idee dai risultati di PapersWithCode. Modelli standard da 8 miliardi di parametri hanno raggiunto solo il 30% di accuratezza, ma il fine-tuning supervisionato (SFT) ha migliorato le prestazioni al 77,1%, superando il 61,1% di GPT-5. Utilizzando l'apprendimento per rinforzo con ricompense verificabili (RLVR), i modelli hanno raggiunto il 71,35% di accuratezza con giustificazioni interpretabili. Lo studio affronta un collo di bottiglia nella ricerca guidata dall'IA: valutare efficientemente numerose idee generate.