Modelli linguistici con miliardi di parametri raggiungono la cancellazione esatta dello stato

Un recente articolo su arXiv (2508.12220) rivela che la cancellazione di informazioni state-exact e trace-preserving è fattibile in modelli linguistici con miliardi di parametri. Questo studio introduce un quadro controfattuale che consente la riproduzione precisa di un controfattuale di cancellazione dopo che alcuni esempi sono stati rimossi dal dataset di replay. L'approccio richiede strumentazione prospettica, necessitando che la sessione di addestramento originale catturi la provenienza dell'esecuzione e mantenga un checkpoint non contaminato. In configurazioni a singola GPU, il replay da un token store senza le righe specificate ricostruisce un oracolo di traccia bit-per-bit sia negli stati del modello che dell'ottimizzatore. I risultati confermano l'esattezza per Pythia 160M in quattro geometrie di cancellazione, mentre Pythia 2.8B mostra tutti i 2.775.208.960 elementi dello stato del modello corrispondenti per una cancellazione casuale del 5%. Anche Llama 3.2 1B raggiunge l'esattezza dopo aver escluso 400 dei 4.000 esempi TOFU. Sebbene questi risultati affermino l'esattezza dello stato per miliardi di parametri, gli autori avvertono che il costo computazionale della cancellazione rimane significativo. Questo articolo segna un notevole progresso nel machine unlearning, con potenziali conseguenze per privacy, conformità e modifica dei modelli.