Nuovo quadro bilancia le modalità nell'analisi del sentiment multimodale
I ricercatori hanno presentato un nuovo approccio chiamato Conflict-aware Penalty and Statistical Loss per affrontare la sfida dello squilibrio delle modalità nell'Analisi del Sentiment Multimodale (MSA). L'MSA combina dati testuali, visivi e acustici per l'identificazione del sentiment, ma spesso i codificatori testuali più forti possono oscurare modalità meno potenti, causando conflitti di norma del gradiente. Questo nuovo quadro incorpora una Conflict-aware Penalty che rileva e affronta questi conflitti durante l'addestramento, insieme a una Statistical Loss che allinea i risultati previsti con le statistiche del mondo reale. Gestendo le influenze delle modalità dominanti, promuove l'addestramento collaborativo utilizzando codifica adattiva delle modalità e fusione cross-modale gated. I test sul dataset CMU-MOSI hanno mostrato risultati impressionanti, e gli studi di ablazione ne confermano l'efficacia.
Fatti principali
- Il quadro affronta la dominanza della modalità testuale nell'analisi del sentiment multimodale.
- Conflict-aware Penalty rileva e penalizza i conflitti di norma del gradiente.
- Statistical Loss allinea le statistiche di distribuzione previste con le statistiche empiriche di input.
- Il metodo impedisce che i gradienti della modalità dominante interferiscano con l'obiettivo SL.
- Il quadro include codifica adattiva delle modalità, fusione cross-modale gated e teste ausiliarie unimodali.
- Gli esperimenti sul dataset CMU-MOSI raggiungono prestazioni all'avanguardia.
- Gli studi di ablazione confermano l'efficacia di ogni componente.
- L'articolo è disponibile su arXiv con ID 2605.28575.
Entità
Istituzioni
- arXiv