Il Norm-Anchor Scaling Previene il Collasso della Modifica dei Modelli

È stata scoperta una modalità di fallimento nel processo sequenziale di modifica dei modelli locate-and-edit (L&E), caratterizzata come un ciclo di feedback positivo della norma che causa un'amplificazione tra i vettori di valore risolti e i pesi MLP aggiustati, portando infine a un declino della qualità della modifica e a una perdita di capacità. Per affrontare questo problema, i ricercatori hanno introdotto il Norm-Anchor Scaling (NAS), un plug-in stabilizzante che ridimensiona ogni vettore di valore risolto per allinearlo alla norma di riferimento del modello originale. Implementato su vari backbone LLM, dataset e editor L&E, il NAS aumenta l'intervallo di modifica effettivo di oltre 4 volte e migliora le prestazioni di modifica a lungo termine in media del 72,2%, il tutto con una modifica di una singola riga e un costo computazionale minimo.