SciPredict Valuta i Modelli Linguistici di Grandi Dimensioni sulle Previsioni degli Esperimenti Scientifici

Un nuovo benchmark chiamato SciPredict valuta se i modelli linguistici di grandi dimensioni possono prevedere i risultati degli esperimenti scientifici. Il benchmark comprende 405 compiti derivati da studi empirici recenti in 33 sottocampi specializzati di fisica, biologia e chimica. Le valutazioni rivelano limitazioni fondamentali, con accuratezze dei modelli che vanno dal 14% al 26%. Le prestazioni degli esperti umani sugli stessi compiti sono circa del 20%. Mentre alcuni modelli all'avanguardia superano le prestazioni umane, i risultati complessivi mettono in discussione l'affidabilità dell'uso di tali previsioni nel processo di ricerca scientifica. Il benchmark mira a rispondere se i modelli linguistici di grandi dimensioni possano prevedere i risultati sperimentali con sufficiente accuratezza. Questa ricerca è documentata nella preprint arXiv 2604.10718v1. Lo studio evidenzia che accelerare la scoperta scientifica richiede di identificare quali esperimenti produrrebbero i migliori risultati prima di impegnarsi in una costosa validazione fisica. I benchmark esistenti valutano i modelli linguistici di grandi dimensioni sulla conoscenza e il ragionamento scientifici, ma la loro capacità di prevedere i risultati sperimentali rimane in gran parte inesplorata. SciPredict si chiede specificamente se l'IA potrebbe superare significativamente le capacità umane in questo compito predittivo.