Il benchmark Spatial-IQ analizza i fallimenti del ragionamento spaziale degli MLLM
Un nuovo framework diagnostico gerarchico chiamato Spatial-IQ è stato sviluppato dai ricercatori per analizzare il ragionamento spaziale nei modelli linguistici multimodali di grandi dimensioni (MLLM). Questo framework scompone il ragionamento spaziale in nove sotto-compiti percettivi e cognitivi distinti, concentrandosi sul conteggio degli oggetti all'interno di strutture 3D impilate, classificate in base agli stadi della cognizione spaziale umana, con l'inclusione della rotazione mentale come ulteriore valutazione. Il team ha utilizzato NVIDIA Isaac Sim per creare un dataset di circa 80.000 strutture 3D impilate, complete di ground truth per ogni compito. I benchmark attuali trattano gli MLLM come scatole nere, complicando l'identificazione se i fallimenti derivano da sfide percettive, come il riconoscimento dei confini degli oggetti, o da difficoltà cognitive, come il ragionamento sull'occlusione. Spatial-IQ mira a chiarire queste cause profonde. Questa ricerca è documentata in arXiv:2607.22864v1.
Fatti principali
- Spatial-IQ è un framework diagnostico gerarchico per il ragionamento spaziale degli MLLM.
- Scompone il conteggio degli oggetti in strutture 3D impilate in 9 sotto-compiti.
- I sotto-compiti sono organizzati secondo gli stadi di sviluppo della cognizione spaziale umana.
- La rotazione mentale è inclusa come ulteriore sonda target.
- Dataset di circa 80.000 strutture 3D impilate generate utilizzando NVIDIA Isaac Sim.
- Per ogni struttura viene fornito il ground truth per ogni compito.
- I benchmark esistenti non riescono a identificare se i fallimenti sono percettivi o cognitivi.
- Pubblicato su arXiv con ID 2607.22864v1.
Entità
Istituzioni
- arXiv