CrossCult-KIBench: Benchmark per la Conoscenza Culturale nei MLLM
L'introduzione di CrossCult-KIBench stabilisce un nuovo standard per valutare l'integrazione della conoscenza interculturale nei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM). Questo benchmark affronta il problema dei MLLM, che sono prevalentemente addestrati su dati in inglese e generano output culturalmente insensibili. Comprende 9.800 esempi basati su immagini che coprono 49 contesti visivi culturalmente significativi all'interno delle culture inglese, cinese e araba. La valutazione può essere condotta sia in formato a inserimento singolo che a inserimento sequenziale. Inoltre, è stato suggerito un approccio di base noto come Inserimento di Conoscenza Condizionato dalla Memoria (MCKI). Questa ricerca è disponibile su arXiv con l'identificatore 2605.06115.
Fatti principali
- CrossCult-KIBench è un benchmark per l'inserimento di conoscenza interculturale nei MLLM.
- Include 9.800 casi basati su immagini.
- Copre 49 scenari visivi culturalmente rilevanti.
- Supporta i gruppi linguistico-culturali inglese, cinese e arabo.
- Valuta le impostazioni di inserimento singolo e sequenziale.
- Propone MCKI come metodo di base.
- Pubblicato su arXiv con ID 2605.06115.
- Affronta il disallineamento culturale nei MLLM.
Entità
Istituzioni
- arXiv