La ricerca sull'IA dimostra che le prove dei risultati sono più affidabili delle descrizioni sperimentali per la valutazione della fattibilità scientifica

Uno studio recente disponibile su arXiv (2604.18786v1) esamina come i grandi modelli linguistici (LLM) valutano la plausibilità scientifica delle affermazioni, definita come la loro coerenza con le conoscenze consolidate e il potenziale delle prove a sostenerle o confutarle. Questa ricerca presenta la valutazione come una sfida di ragionamento diagnostico, in cui i modelli predicono la fattibilità e forniscono giustificazioni per le loro conclusioni. Le valutazioni sono state condotte su vari LLM utilizzando due dataset in scenari di conoscenza controllata: solo ipotesi, con dati sperimentali, con risultati o una combinazione di entrambi. I risultati indicano che le prove derivanti dai risultati generalmente portano a valutazioni più accurate rispetto alle descrizioni degli esperimenti, mentre queste ultime possono talvolta ostacolare le prestazioni in caso di contesto incompleto. Lo studio esamina metodicamente la robustezza di questi risultati rimuovendo sistematicamente elementi di informazioni sperimentali e sui risultati, chiarendo le condizioni in cui le prove sperimentali migliorano le valutazioni di fattibilità degli LLM e illustrando gli effetti variabili di diversi tipi di prove sull'efficacia del modello.