Il Framework VIB-Probe Mira a Ridurre le Allucinazioni nei Modelli Visione-Linguaggio

Un nuovo articolo di ricerca introduce VIB-Probe, un framework progettato per rilevare e mitigare le allucinazioni nei Modelli Visione-Linguaggio. Le allucinazioni si verificano quando il testo generato si discosta dal contenuto visivo effettivo. Il metodo sfrutta la teoria del Collo di Bottiglia dell'Informazione Variazionale per filtrare il rumore semantico estraendo modelli discriminativi attraverso i livelli del modello e le teste di attenzione. Gli approcci di rilevamento esistenti spesso si basano sui logit di output o su strumenti di verifica esterni, trascurando i meccanismi interni. VIB-Probe indaga specificamente le teste di attenzione interne, postulando che alcune teste trasportino segnali primari per una generazione veritiera. La sonda diretta di questi stati ad alta dimensionalità è complessa a causa dell'intreccio tra sintassi visivo-linguistica e rumore. L'articolo è disponibile su arXiv con identificatore 2601.05547v2.