Nuovo Framework per il Rilevamento di Deepfake Audio-Visivi nel Canto

I ricercatori hanno identificato una debolezza critica nei metodi esistenti di rilevamento dei deepfake audio-visivi: falliscono quando applicati al canto. A differenza del parlato, dove i movimenti delle labbra e l'audio sono strettamente sincronizzati, il canto coinvolge una vocalizzazione ritmica che indebolisce questo accoppiamento cross-modale, causando un calo significativo delle prestazioni di rilevamento. Per affrontare questo problema, il team ha costruito il dataset Singing Head DeepFake (SHDF) utilizzando modelli generativi sensibili al ritmo, colmando una lacuna nei benchmark disponibili. Propongono anche un framework di rilevamento della contraffazione audio-visiva guidato da testo (T-AVFD) progettato per generalizzare sia negli scenari di parlato che di canto. T-AVFD include un apprenditore di pattern di autenticità facciale che allinea le caratteristiche facciali con descrizioni testuali a granularità multipla, e un modulo di apprendimento dei pesi differenziali multimodali che preserva le caratteristiche intrinseche. Il lavoro evidenzia un problema di domain shift nel rilevamento dei deepfake e offre una soluzione che sfrutta la guida testuale per apprendere pattern di autenticità generalizzabili. L'articolo è pubblicato su arXiv con identificatore 2605.27944.