DACLR: L'apprendimento contrastivo dinamico migliora il recupero di prove multimodali

Dynamic Adaptive Contrastive Learning for Evidence Retrieval (DACLR) è un approccio innovativo progettato per migliorare il fact-checking multimodale, concentrandosi sul recupero di prove non solo simili ma anche pertinenti a specifiche affermazioni. Le attuali tecniche generali di recupero multimodale spesso producono prove semanticamente affini ma irrilevanti. DACLR avvia il processo utilizzando un Modello Linguistico Multimodale di Grandi Dimensioni (MLLM) per trasformare sia le affermazioni che le prove multimodali in forma testuale, estraendo caratteristiche a livello di evento. Successivamente, viene implementato un metodo di recupero a due fasi: richiamo e riordinamento. Ottimizzando la perdita contrastiva e identificando campioni negativi difficili, DACLR migliora significativamente la capacità del modello di percepire gli eventi durante il recupero. La ricerca è disponibile su arXiv con ID 2605.27449.