Pregiudizio sull'identità del parlante nei rilevatori di deepfake audio
Un recente studio pubblicato su arXiv indica che i sistemi di rilevamento dei deepfake audio spesso si basano su indizi legati all'identità del parlante anziché concentrarsi sugli artefatti di sintesi, portando a un aumento venti volte maggiore dei tassi di errore in vari set di dati. Gli autori introducono l'Identity Sensitivity Score (ISS), uno strumento diagnostico per singole espressioni che valuta la variabilità nell'output di un rilevatore in base a diverse identità del parlante, eliminando la necessità di etichette di verità. L'analisi di due rilevatori e due set di dati ha rivelato che le espressioni classificate erroneamente avevano punteggi ISS superiori del 29% rispetto a quelle correttamente identificate, evidenziando il ruolo critico dell'identità del parlante nelle imprecisioni di rilevamento.
Fatti principali
- I rilevatori di deepfake audio possono vedere i tassi di errore aumentare di venti volte attraverso i set di dati.
- I corpora di addestramento standard correlano l'identità del parlante con le etichette genuine/sintetiche.
- L'Identity Sensitivity Score (ISS) quantifica i cambiamenti nell'output del rilevatore attraverso contesti di parlante.
- L'ISS non richiede etichette di verità al momento dell'inferenza.
- Le espressioni classificate erroneamente hanno punteggi ISS superiori del 29% rispetto a quelle corrette.
- Lo studio ha testato due rilevatori e due set di dati.
- I rilevatori si basano su indizi legati al parlante piuttosto che solo su artefatti di sintesi.
- L'ISS utilizza un pool di esempi di parlanti di riferimento.
Entità
Istituzioni
- arXiv