SpaceNum Framework testa la comprensione numerica spaziale dei VLM
Un nuovo studio introduce SpaceNum, un framework unificato per valutare se i modelli linguistico-visivi (VLM) ancorano realmente gli output numerici alla percezione spaziale. Il framework cattura due impostazioni: numeri come transizioni dinamiche durante l'esplorazione spaziale e numeri come layout statici nel ragionamento spaziale. Due compiti bidirezionali, Num2Space e Space2Num, valutano come i VLM mappano tra struttura visiva spaziale e rappresentazioni numeriche lato linguistico. In entrambe le impostazioni, i modelli falliscono in gran parte nell'ancorare i numeri al contesto spaziale, sollevando preoccupazioni per le applicazioni di IA embodied. Il paper è disponibile su arXiv con ID 2605.23898.
Fatti principali
- SpaceNum è un framework unificato per valutare la comprensione numerica spaziale nei VLM.
- Copre due impostazioni: transizioni dinamiche e layout statici.
- I due compiti bidirezionali sono Num2Space e Space2Num.
- I VLM falliscono in gran parte nell'ancorare i numeri alla percezione spaziale.
- Lo studio è pubblicato su arXiv con ID 2605.23898.
- La ricerca riesamina se gli output numerici siano realmente ancorati alla percezione spaziale.
- I VLM sono sempre più utilizzati in ambienti embodied che richiedono output numerici.
- Il paper studia sistematicamente la comprensione dei valori numerici in contesti spaziali da parte degli attuali VLM.
Entità
Istituzioni
- arXiv