DICA: Nuovo Metodo Riduce le Allucinazioni nei LLM Multimodali
Uno studio propone il Dual-Indicator Guided Contrastive Alignment (DICA) per ridurre le allucinazioni nei modelli linguistici di grandi dimensioni multimodali (MLLM). Il metodo monitora l'Entropia dell'Attenzione Visiva (VAE) e la Correlazione dell'Immagine di Output (OIC) durante l'inferenza. Aumenti anomali di VAE o diminuzioni di OIC attivano un allineamento contrastivo mirato per ripristinare il radicamento visivo. Esperimenti su più benchmark mostrano miglioramenti consistenti.
Fatti principali
- 1. DICA utilizza due indicatori: VAE e OIC.
- 2. VAE riflette la concentrazione dell'attenzione visiva.
- 3. OIC misura la dipendenza degli output dall'input visivo.
- 4. Un aumento anomalo di VAE o una diminuzione di OIC attiva l'allineamento.
- 5. Il metodo mira a mitigare la deriva dell'attenzione e il sottoutilizzo delle prove visive.
- 6. Esperimenti condotti su più benchmark.
- 7. Il ragionamento visivo umano segue un processo di attenzione dal generale al dettaglio.
- 8. I MLLM possono deviare da questo schema.
Entità
—