La calibrazione selettiva del prior riduce le allucinazioni guidate dal senso comune nei modelli visione-linguaggio
Un nuovo articolo di ricerca su arXiv (2607.29240) affronta l'allucinazione guidata dal senso comune (CDH) nei modelli visione-linguaggio, dove la conoscenza precedente del modello sovrascrive l'evidenza visiva chiara di stati atipici. Gli autori propongono la Calibrazione Selettiva del Prior (SPC), un metodo che regola selettivamente le stime di preferenza del prior a livello di candidato in base alla forza dipendente dall'istanza, rivedendo le previsioni solo quando il pattern di punteggio supporta fortemente un'alternativa. Gli esperimenti dimostrano l'efficacia del metodo nel mitigare la CDH preservando le risposte corrette su immagini di senso comune. L'articolo è rilevante per la tecnologia AI e le applicazioni di arte digitale, poiché migliora l'affidabilità dei sistemi AI nell'interpretare contenuti visivi.
Fatti principali
- L'articolo arXiv:2607.29240 introduce la Calibrazione Selettiva del Prior (SPC) per mitigare l'allucinazione guidata dal senso comune nei modelli visione-linguaggio.
- La CDH si verifica quando il prior di senso comune del modello sovrascrive l'evidenza visiva, ad esempio, riportando una mano a sei dita come a cinque dita.
- La SPC sottrae le stime di preferenza del prior a livello di candidato dai punteggi condizionati all'immagine con una forza dipendente dall'istanza.
- La SPC rivede le previsioni solo quando il pattern di punteggio supporta fortemente un'alternativa.
- Gli esperimenti mostrano che la SPC ripara gli errori controfattuali preservando le risposte corrette su immagini di senso comune abbinate.
- L'articolo è disponibile su arXiv con l'identificatore 2607.29240.
- La ricerca è rilevante per la tecnologia AI e l'arte digitale, migliorando l'interpretazione dei contenuti visivi da parte dell'AI.
Entità
Istituzioni
- arXiv