QSTRBench: Nuovo benchmark testa i LLM sul ragionamento spaziale e temporale

I ricercatori hanno creato un nuovo benchmark chiamato QSTRBench per valutare i grandi modelli linguistici (LLM) specificamente per il ragionamento spaziale e temporale qualitativo (QSTR). Questo benchmark include domande incentrate sul ragionamento compositivo, le relazioni converse e i vicinati concettuali. Impiega diversi calcoli, come l'Algebra dei Punti (PA), l'Algebra degli Intervalli di Allen e vari Calcoli di Connessione Regionale (RCC-5, RCC-8, RCC-22), insieme ad altri come il modello a nove intersezioni e il calcolo delle direzioni cardinali. Un'aggiunta notevole è il vicinato concettuale RCC-22. Il benchmark modifica anche il modo in cui le domande sono formattate, utilizzando diverse notazioni e descrizioni. I test sui modelli principali mostrano che, sebbene superino il caso casuale, nessuno raggiunge la piena accuratezza, con PA che risulta il più facile e RCC-22 il più impegnativo.