ICU-Bench: Benchmarking per l'Unlearning Continuo nei Modelli Linguistici Multimodali
I ricercatori hanno introdotto un nuovo benchmark chiamato ICU-Bench volto a migliorare l'unlearning multimodale continuo nei grandi modelli linguistici. Questo strumento affronta le preoccupazioni sulla privacy valutando i modelli attraverso varie richieste di cancellazione. Include 1.000 profili con dati sensibili provenienti da cartelle cliniche e contratti di lavoro, oltre a 9.500 immagini, 16.000 coppie domanda-risposta e 100 compiti incentrati sull'oblio di informazioni. Per misurare l'efficacia nell'oblio, la conservazione storica, l'utilità mantenuta e la stabilità, il team ha creato metriche innovative. I risultati sono stati pubblicati su arXiv per accesso pubblico.
Fatti principali
- ICU-Bench è un benchmark per l'unlearning multimodale continuo.
- Si concentra su dati documentali critici per la privacy.
- Il benchmark include 1.000 profili da referti medici e contratti di lavoro.
- Contiene 9.500 immagini, 16.000 coppie QA e 100 compiti di oblio.
- Nuove metriche valutano l'efficacia dell'oblio, la conservazione storica, l'utilità mantenuta e la stabilità.
- La ricerca affronta le preoccupazioni sulla privacy nei Modelli Linguistici Multimodali (MLLM).
- I benchmark esistenti mancano di supporto per richieste continue di cancellazione della privacy.
- L'articolo è disponibile su arXiv con ID 2605.05938.
Entità
Istituzioni
- arXiv