Quadro di Ottimizzazione Vincolata per l'Unlearning nei Modelli di Diffusione
Un nuovo quadro per l'unlearning nei modelli di diffusione utilizza l'ottimizzazione vincolata per rimuovere dati indesiderati preservando l'utilità del modello. L'approccio formula l'unlearning come minimizzazione della deviazione da un modello pre-addestrato soggetta a vincoli di separazione dalle distribuzioni da dimenticare. Vengono definiti tre problemi utilizzando divergenze KL diretta e inversa e vincoli di verosimiglianza, con il terzo che offre una formulazione innovativa. La dualità forte è stabilita per tutti i problemi, consentendo una caratterizzazione esplicita delle soluzioni ottimali e lo sviluppo di algoritmi primale-duale. I risultati sperimentali dimostrano l'efficacia.
Fatti principali
- 1. L'unlearning nei modelli di diffusione mira a rimuovere dati o concetti indesiderati preservando l'utilità del modello pre-addestrato.
- 2. Il quadro formula l'unlearning come minimizzazione della deviazione da un modello pre-addestrato soggetta a vincoli di separazione.
- 3. Tre problemi di ottimizzazione vincolata sono basati su divergenze KL diretta e inversa e vincoli di verosimiglianza.
- 4. I primi due generalizzano approcci esistenti per l'unlearning di concetti e dati.
- 5. Il terzo offre una formulazione nuova e naturale per l'unlearning.
- 6. La dualità forte è stabilita per tutti e tre i problemi nonostante la non convessità dei vincoli KL.
- 7. Le soluzioni ottimali sono caratterizzate come target di unlearning.
- 8. Algoritmi primale-duale sono sviluppati per ciascuna formulazione.
Entità
—