RA-Bench: Nuovo benchmark valuta il rilevamento di video generati dall'IA in scenari di crisi
È stato lanciato un nuovo standard di valutazione chiamato RA-Bench per valutare l'identificazione di video generati dall'IA che ritraggono crisi del mondo reale, tra cui guerre, disastri ed emergenze pubbliche. Questo benchmark comprende un totale di 17.886 video, composti da 1.830 video autentici di ancoraggio classificati in 10 gruppi di rischio sociale, insieme a 16.056 clip generate provenienti da quattro generatori open-source e cinque closed-source. La valutazione si concentra su tre aree chiave: la generalizzazione dei rilevatori attraverso sette modelli tradizionali e dieci modelli multimodali zero-shot, le condizioni di generazione e la diffusione sociale. Questa ricerca mira a colmare le lacune nella comprensione delle prestazioni di rilevatori e generatori in scenari di crisi, incluse le variazioni di rilevabilità, le percezioni umane e l'affidabilità dei rilevatori durante la diffusione. I risultati sono disponibili su arXiv con identificativo 2608.14391.
Fatti principali
- RA-Bench è un nuovo benchmark per il rilevamento di video generati dall'IA.
- Utilizza video reali come ancoraggi.
- Il benchmark contiene 17.886 video.
- Include 1.830 ancoraggi video reali in 10 categorie di rischio sociale.
- Include 16.056 clip generate da quattro generatori open-source e cinque closed-source.
- La valutazione copre la generalizzazione dei rilevatori, le condizioni di generazione e la diffusione sociale.
- Sono valutati sette rilevatori tradizionali e dieci modelli multimodali zero-shot.
- Lo studio è pubblicato su arXiv con identificativo 2608.14391.
Entità
Istituzioni
- arXiv