Metodo Spettrale Recupera Capacità Danneggiate dei Modelli Linguistici
I ricercatori propongono DG-Hard, un metodo di riparazione post-hoc per il dimenticato catastrofico nei modelli linguistici affinati. Il metodo utilizza solo il checkpoint pre-addestrato e il suo discendente affinato, applicando la soglia singolare dura di Donoho-Gavish alle matrici delta dei pesi. DG-Hard recupera le capacità danneggiate dall'affinamento, preservando i guadagni del compito target e i miglioramenti benefici su dati esclusi, trattando l'aggiornamento dell'affinamento come un segnale a basso rango allineato al compito immerso nel rumore. L'approccio è dettagliato in arXiv:2605.20296.
Fatti principali
- DG-Hard è un metodo di riparazione spettrale per gli aggiornamenti di affinamento.
- Utilizza solo il checkpoint pre-addestrato e il discendente affinato.
- Applica la soglia singolare dura di Donoho-Gavish.
- Recupera le capacità danneggiate senza riaddestramento.
- Preserva i guadagni del compito target e i miglioramenti benefici su dati esclusi.
- Il metodo tratta l'aggiornamento dell'affinamento come segnale a basso rango più rumore.
- La ricerca è descritta in arXiv:2605.20296.
- Il dimenticato catastrofico degrada le capacità non esplicitamente minacciate dai dati di addestramento.
Entità
Istituzioni
- arXiv