PRL-Bench: Nuovo benchmark AI testa i modelli linguistici di grandi dimensioni su compiti di ricerca fisica

Un nuovo benchmark chiamato PRL-Bench valuta le capacità dei modelli linguistici di grandi dimensioni di condurre autonomamente ricerche di frontiera in fisica. Sviluppato a partire da 100 articoli selezionati pubblicati su Physical Review Letters da agosto 2025, il benchmark valuta i sistemi di intelligenza artificiale su compiti intensivi dal punto di vista teorico e computazionale. Esperti del settore hanno validato il benchmark, che si concentra sulla fisica teorica e computazionale come banco di prova che richiede conoscenze di dominio complete e ragionamenti complessi. PRL-Bench mappa sistematicamente le capacità dei LLM nell'eseguire flussi di lavoro di ricerca fisica end-to-end senza dipendere da esperimenti. Il benchmark affronta le limitazioni delle attuali valutazioni scientifiche che non riescono a valutare la natura esplorativa e la complessità procedurale. Mira a far progredire i paradigmi della scienza agentica in cui i sistemi di IA si impegnano in esplorazioni autonome a lungo termine. Il lavoro introduce valutazioni orientate alla ricerca che vanno oltre la comprensione delle conoscenze di dominio verso flussi di lavoro end-to-end verificabili.