I Prompt Linguistici Ricodificano le Rappresentazioni Visive nei Modelli Visione-Linguaggio

Un nuovo articolo su arXiv (2608.00035) indaga come i modelli visione-linguaggio (VLM) ricodificano le rappresentazioni visive quando ricevono un linguaggio orientato agli obiettivi. Gli autori identificano una rappresentazione di riferimento astratta che denota gli oggetti rilevanti per l'obiettivo sotto prompt in linguaggio naturale, ed estraggono vettori di steering contrastivi che sono causalmente implicati nelle previsioni del modello. Il lavoro suggerisce che le rappresentazioni visive nei VLM non sono statiche ma possono essere dinamicamente ricodificate in base al contesto linguistico. L'articolo è disponibile su https://arxiv.org/abs/2608.00035.