Il probing causale rivela come gli MLLM codificano i concetti visivi
Un nuovo articolo su arXiv propone un quadro causale che utilizza l'attivazione steering per sondare le rappresentazioni visive interne nei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM). Lo studio rivela che le entità sono codificate tramite memorizzazione localizzata, mentre i concetti astratti sono distribuiti globalmente nella rete. Questa divergenza spiega le leggi di scala: aumentare la profondità del modello è cruciale per i concetti astratti ma non per la localizzazione delle entità. Lo steering inverso mostra che bloccare l'output esplicito innesca picchi di attivazione latenti.
Fatti principali
- Articolo intitolato 'Causal Probing for Internal Visual Representations in Multimodal Large Language Models'
- Pubblicato su arXiv con ID 2605.05593v1
- Propone un quadro causale basato sull'attivazione steering
- Intervento sistematico su quattro categorie di concetti visivi
- Le entità mostrano una distinta memorizzazione localizzata
- I concetti astratti sono distribuiti globalmente nella rete
- Aumentare la profondità del modello è indispensabile per codificare concetti astratti
- La localizzazione delle entità rimane invariata rispetto alla scala
- Lo steering inverso scopre picchi di attivazione latenti quando l'output esplicito è bloccato
Entità
Istituzioni
- arXiv