BilliardPhys-Bench testa il ragionamento fisico nei modelli linguistici multimodali

BilliardPhys-Bench è stato sviluppato da ricercatori come benchmark per valutare le capacità di ragionamento fisico nei modelli linguistici multimodali di grandi dimensioni (MLLM) attraverso ambienti di biliardo sintetici. Questo benchmark presenta un motore procedurale che crea scenari casuali, incorporando elementi come attrito e collisioni elastiche, per valutare tre abilità principali: prevedere le interazioni tra le palle, ragionare sui rimbalzi contro le pareti e stimare le posizioni finali delle palle dopo che si sono fermate. Valutazioni recenti di MLLM, incluse quelle delle famiglie GPT, Claude, Gemini e Qwen, mostrano un calo delle prestazioni con tempi di simulazione più lunghi e geometrie di scena più complesse. Un problema notevole è il "bias di stasi", in cui i modelli spesso prevedono nessuna interazione quando il risultato corretto è meno ovvio, evidenziando limitazioni nel ragionamento fisico intuitivo dei MLLM nonostante una forte capacità di riconoscimento di immagini statiche.