Sondare i Concetti Visivi in Modelli Linguistico-Visivi Leggeri per la Guida Automatizzata
Un articolo arXiv (2603.06054) esplora recentemente le carenze dei Modelli Linguistico-Visivi (VLM) quando affrontano semplici domande visive pertinenti alla guida automatizzata. Gli autori analizzano le attivazioni intermedie all'interno dei VLM per comprendere come particolari concetti visivi siano rappresentati linearmente, cercando di individuare ostacoli nel flusso di informazioni visive. Hanno sviluppato set di immagini controfattuali che variano solo in un concetto visivo specifico e hanno impiegato sonde lineari per differenziarli in base alle attivazioni di cinque VLM all'avanguardia, incluse due varianti di un modello. I risultati rivelano che concetti essenziali, come l'esistenza di un oggetto o agente, sono codificati in modo inadeguato, portando a fallimenti. Questa ricerca sottolinea la necessità di una migliore rappresentazione dei concetti visivi nei VLM per la tecnologia di guida autonoma.
Fatti principali
- Articolo arXiv:2603.06054, annunciato come replace-cross
- Focus sui Modelli Linguistico-Visivi (VLM) nella guida automatizzata
- Esamina le attivazioni intermedie dei VLM
- Valuta la codifica lineare di specifici concetti visivi
- Usa set di immagini controfattuali che differiscono solo nel concetto visivo mirato
- Addestra sonde lineari sulle attivazioni di cinque VLM all'avanguardia
- Include due varianti di addestramento per un modello
- I risultati mostrano che concetti come la presenza di un oggetto o agente non sono codificati in modo robusto
Entità
Istituzioni
- arXiv