ZeroUnlearn: Disimparare la Conoscenza con Pochi Esempi nei Modelli Linguistici di Grandi Dimensioni
Il nuovo framework ZeroUnlearn affronta il problema di cancellare dati sensibili dai modelli linguistici di grandi dimensioni senza la necessità di un costoso riaddestramento. Questo approccio riconcettualizza il machine unlearning come una sfida di ri-mappatura della conoscenza attraverso l'editing del modello. Impiega una tecnica a pochi esempi per sostituire le informazioni sensibili con uno stato target neutro, eliminando efficacemente le rappresentazioni originali. Utilizzando un aggiornamento parametrico moltiplicativo con una soluzione in forma chiusa, garantisce l'ortogonalità rappresentazionale, facilitando un unlearning efficiente e preciso. Inoltre, una variante basata sul gradiente amplia il framework per l'unlearning multi-campione. Gli esperimenti indicano la sua efficacia nel mantenere l'utilità del modello mentre rimuove conoscenze specifiche. Il documento completo è disponibile su arXiv.
Fatti principali
- 1. ZeroUnlearn è un framework di unlearning a pochi esempi per modelli linguistici di grandi dimensioni.
- 2. Riformula l'unlearning come un problema di ri-mappatura della conoscenza tramite editing del modello.
- 3. Gli input sensibili vengono sovrascritti a uno stato target neutro.
- 4. Le rappresentazioni originali vengono rimosse.
- 5. L'ortogonalità rappresentazionale è garantita tramite un aggiornamento parametrico moltiplicativo con soluzione in forma chiusa.
- 6. Una variante basata sul gradiente gestisce l'unlearning multi-campione.
- 7. Il metodo evita costosi riaddestramenti o fine-tuning aggressivi.
- 8. Il documento è pubblicato su arXiv con ID 2605.18879.
Entità
Istituzioni
- arXiv