Unlearning Resistente alle Perdite: Benchmarking della Coerenza nel Ragionamento Multi-Salto e della Robustezza al Recupero nei LLM

È stato istituito un nuovo benchmark denominato Leak-Resistant Unlearning per valutare l'efficacia delle tecniche di machine unlearning nei modelli linguistici di grandi dimensioni (LLM). Questo benchmark affronta due questioni significative: il rischio di perdita di conoscenza attraverso vari percorsi di ragionamento multi-salto e la suscettibilità dell'unlearning agli attacchi di recupero. I benchmark precedenti si sono concentrati principalmente su query a singolo salto e su una gamma limitata di domande multi-salto, che non valutano adeguatamente la completezza della rimozione della conoscenza. Il nuovo benchmark valuta i modelli attraverso una serie di percorsi di ragionamento e attacchi di recupero, inclusa l'adattamento leggero dopo l'unlearning. I test sono stati eseguiti su tre modelli, sei tecniche di unlearning e due dataset accuratamente selezionati. I risultati rivelano che i metodi di unlearning attuali sono a rischio di fronte a queste sfide. Questo benchmark mira a offrire una valutazione più approfondita dell'efficacia dell'unlearning, garantendo che le informazioni sensibili siano realmente cancellate e irrecuperabili. L'articolo è disponibile su arXiv con ID 2608.04519.