LookBack: Un Nuovo Metodo per Valutare le Risposte LVLM Utilizzando un Riferimento Visivo

Un nuovo articolo di ricerca su arXiv (2608.11847v1) introduce LookBack, un metodo senza addestramento per valutare le risposte dei Large Vision-Language Models (LVLM) misurando quanto ogni token di risposta si riferisce ai token dell'immagine. Gli autori sostengono che le metriche basate sulla confidenza esistenti, adottate dai LLM, sono insufficienti per i LVLM perché catturano principalmente la plausibilità testuale piuttosto che l'accordo con l'immagine. Le loro diagnosi mostrano che rimuovere l'immagine in input cambia a malapena la selezione basata sulla confidenza. LookBack aumenta la probabilità dei token con un punteggio di lookback visivo, fornendo una misura leggera del grounding visivo. Il metodo è valutato su quattro benchmark e tre modelli, dimostrando una migliore accuratezza di valutazione. L'articolo affronta la sfida delle allucinazioni nei LVLM, dove i modelli producono risposte fluenti non ancorate all'input visivo.