SafeIMG Benchmark Rivela Lacune nei Rilevatori di Immagini AI in Contesti di Sicurezza
Un nuovo benchmark chiamato SafeIMG, introdotto in un preprint su arXiv, valuta la capacità dei rilevatori AI di identificare immagini sintetiche in contesti ad alto rischio per la sicurezza pubblica e individuale. Il benchmark copre 12 scenari generati utilizzando GPT Image 2, incluse situazioni in cui immagini false potrebbero minacciare la sicurezza pubblica o la reputazione personale. A differenza dei benchmark esistenti che si concentrano su immagini generiche e etichette a livello di immagine, SafeIMG fornisce annotazioni umane che localizzano regioni sospette e spiegano artefatti o incongruenze fisiche. I test su rilevatori specializzati di immagini sintetiche e modelli visione-linguaggio (VLM) rivelano carenze significative, evidenziando l'erosione dell'autenticità delle prove visive in contesti critici.
Fatti principali
- SafeIMG è un benchmark orientato alla sicurezza per il rilevamento di immagini generate dall'AI.
- Copre 12 scenari di sicurezza pubblica e individuale.
- Le immagini sono state generate utilizzando GPT Image 2.
- Il benchmark include annotazioni umane di regioni sospette e anomalie.
- Valuta sia rilevatori specializzati che modelli visione-linguaggio.
- I benchmark di rilevamento esistenti raramente esaminano contesti critici per la sicurezza.
- Contenuti visivi fuorvianti in scenari di sicurezza comportano rischi sostanziali.
- Lo studio rileva che i rilevatori spesso falliscono nel riconoscere immagini sintetiche in questi contesti.
Entità
Istituzioni
- arXiv