Gli Agenti LLM Faticano a Scoprire le Mappature di Meccanica Statistica in Fisica

Un recente studio presenta StatMechBench-v0, un benchmark composto da sei sfide di tipo Ising volte a valutare la capacità degli agenti AI basati su LLM di identificare mappature di meccanica statistica da funzioni di partizione grezze a rappresentazioni gestibili. Questo benchmark include tecniche di matrice di trasferimento, disordine rimovibile tramite gauge e strutture planari/Pfaffiane. I ricercatori hanno testato un agente propose-verify-revise su vari LLM e formulazioni del problema. I risultati indicano che, sebbene il feedback numerico spesso aiuti gli agenti a correggere il codice e ottenere funzioni di partizione accurate, questi agenti possono comunque superare le valutazioni numeriche mentre classificano erroneamente la categoria trattabile sottostante o sottostimano la complessità computazionale. Ciò evidenzia i limiti del ragionamento attuale degli LLM e sottolinea la necessità di un quadro di verifica che vada oltre la mera coerenza numerica.