Studio rileva che i modelli visione-linguaggio falliscono nel grounding visivo nel controllo zero-shot
Un nuovo preprint su arXiv, etichettato 2608.06154, analizza come i modelli visione-linguaggio (VLM) prendono decisioni quando vengono utilizzati come controllori zero-shot. Lo studio ha coinvolto varie valutazioni, come controlli con immagini cieche e verifica della coerenza con input ripetuti. Sono state analizzate ben 32.874 decisioni da nove modelli ad azione diretta e sei VLM locali strutturati in diverse configurazioni e simulatori. I risultati hanno mostrato che una politica costante-SLOW supera un controllore geometrico scriptato, con molti modelli che risultano invarianti rispetto all'immagine o mostrano variazioni minime. In particolare, i modelli che rilevavano pericoli non aggiustavano le loro risposte SINISTRA e DESTRA quando riflesse. Ciò sottolinea la necessità di robusti controlli di grounding visivo prima di utilizzare i VLM come controllori.
Fatti principali
- Il preprint arXiv 2608.06154v1 indaga il grounding visivo nel controllo visione-linguaggio zero-shot.
- Lo studio ha utilizzato una batteria di ablazione degli input includendo controlli con immagini cieche, input identici ripetuti, riflessione dell'asse della corsia, baseline non visive e controlli di integrità del pipeline.
- Sono state analizzate 32.874 chiamate valutate su nove modelli ad azione diretta, sei VLM locali strutturati e una gerarchia VLM-MPC esplorativa.
- Gli esperimenti hanno coperto due embodiment e tre simulatori.
- Una politica costante-SLOW ha superato un controllore geometrico scriptato.
- Diversi modelli erano invarianti rispetto all'immagine o quasi costanti.
- I modelli che riconoscevano pericoli longitudinali non riuscivano comunque a trasformare SINISTRA e DESTRA sotto riflessione.
- Nessun VLM locale ha soddisfatto i criteri congiunti longitudinali e laterali.
Entità
Istituzioni
- arXiv