Ottimizzazione delle Preferenze per Fasi Riduce le Allucinazioni nei VLM
Un nuovo framework mira a mitigare le allucinazioni nei modelli visione-linguaggio creando coppie di preferenza specifiche vicine a soglie di fallimento identificate. Questo metodo affronta problemi come l'orientamento spaziale poco chiaro, le relazioni tra oggetti, le incertezze nell'OCR e l'addestramento fuorviante con premesse false. Genera negativi allucinati utilizzando opzioni leggermente alterate ma visivamente inconsistenti, consentendo all'Ottimizzazione Diretta delle Preferenze (DPO) di distinguere più efficacemente tra ragionamento fondato e allucinazioni plausibili. L'approccio è implementato in fasi, concentrandosi su tipi particolari di allucinazioni anziché su dati generali di istruzioni. I risultati sperimentali indicano prestazioni migliorate nel minimizzare risposte linguisticamente plausibili ma prive di fondamento visivo.
Fatti principali
- 1. L'allucinazione rimane una sfida fondamentale nei modelli visione-linguaggio (VLM).
- 2. La generazione autoregressiva può produrre risposte fisicamente inconsistenti o visivamente infondate.
- 3. Il framework proposto utilizza l'ottimizzazione delle preferenze per fasi.
- 4. Costruisce coppie di preferenza focalizzate sulle allucinazioni vicino a confini di fallimento noti.
- 5. Il framework enfatizza l'orientamento spaziale ambiguo, le relazioni tra oggetti, l'incertezza dell'OCR e l'addestramento avversario con premesse false.
- 6. I negativi allucinati sono generati attraverso alternative minimamente perturbate ma visivamente inconsistenti.
- 7. L'Ottimizzazione Diretta delle Preferenze (DPO) viene utilizzata per separare il ragionamento fondato dall'allucinazione plausibile.
- 8. L'approccio è dettagliato in arXiv:2605.16411.
Entità
Istituzioni
- arXiv