La ricerca rivela come i modelli visione-linguaggio allucinino privilegiando i prompt testuali rispetto all'evidenza visiva

Un nuovo studio esamina come i grandi modelli visione-linguaggio (VLMs) producano allucinazioni dando priorità ai prompt testuali rispetto al contenuto visivo effettivo. I ricercatori hanno studiato questo fallimento in uno scenario controllato di conteggio oggetti, dove i prompt esageravano il numero di oggetti nelle immagini. Quando i conteggi degli oggetti erano bassi, i modelli correggessero frequentemente le sovrastime, ma con l'aumentare dei numeri, si conformavano sempre più ai prompt fuorvianti nonostante le contraddizioni visive. Attraverso un'analisi meccanicistica di tre VLMs, gli scienziati hanno identificato un piccolo gruppo di testine di attenzione responsabili di queste allucinazioni indotte da prompt. L'ablazione di queste specifiche testine ha ridotto le allucinazioni di almeno il 40% senza richiedere addestramento aggiuntivo. La ricerca dimostra che queste PIH-heads facilitano la copia dei prompt in modi distinti tra i diversi modelli. Questa tecnica di ablazione ha migliorato la correzione verso l'evidenza visiva. I risultati forniscono approfondimenti sui meccanismi interni che guidano questi errori nei modelli visione-linguaggio.