Framework PRISM-AH per il Riconoscimento di Ambivalenza ed Esitazione a Livello Video
Un nuovo sistema chiamato PRISM-AH, acronimo di Predictive Reasoning over Interacting Streams for Multimodal Ambivalence/Hesitancy Recognition, è stato sviluppato per rilevare ambivalenza ed esitazione (A/E) nei video. A/E si riferisce a risposte emotive miste che possono ostacolare o impedire alle persone di apportare cambiamenti legati alla salute. Questo conflitto emotivo può derivare da diverse espressioni facciali, inflessioni vocali, uso del linguaggio e movimenti del corpo, variando da individuo a individuo. PRISM-AH considera A/E come un conflitto complesso che cambia nel tempo. Combina dati visivi, audio e testuali in brevi segmenti, utilizzando un modello leggero per valutare queste interazioni, prevedere momenti futuri e individuare segni di esitazione. La ricerca è disponibile su arXiv con ID 2607.25961.
Fatti principali
- 1. PRISM-AH sta per Predictive Reasoning over Interacting Streams for Multimodal Ambivalence/Hesitancy Recognition.
- 2. Ambivalenza ed esitazione (A/E) sono stati affettivi contrastanti che precedono il ritardo o l'abbandono del cambiamento del comportamento sanitario.
- 3. Il riconoscimento di A/E a livello video è difficile a causa del disaccordo tra le modalità facciali, vocali, linguistiche e corporee.
- 4. PRISM-AH utilizza encoder congelati per visione, audio e testo allineati in brevi finestre temporali.
- 5. Un modello di streaming leggero valuta la dissonanza cross-modale e predice ogni finestra successiva.
- 6. Il modello scopre prototipi comportamentali ed è condizionato dai metadati del partecipante.
- 7. Annotazioni dense a livello di finestra supervisionano il modello come obiettivo ausiliario.
- 8. La ricerca è pubblicata su arXiv con ID 2607.25961.
Entità
Istituzioni
- arXiv