HoReN: Un Nuovo Metodo per la Modifica Sequenziale dei Modelli nei LLM
I ricercatori hanno introdotto HoReN, un innovativo editor che preserva i parametri basato su un codebook per grandi modelli linguistici, volto a risolvere il problema dell'aggiornamento di informazioni fattuali obsolete o errate senza necessità di riaddestramento. HoReN incapsula un singolo strato MLP all'interno di un codebook discreto chiave-valore, dove ogni voce funge sia da chiave di memoria della conoscenza che da pattern memorizzato di Hopfield contemporaneo. Questa strategia migliora il routing e mitiga il declino delle prestazioni su larga scala, affrontando le carenze dei metodi locate-then-edit attuali che interrompono la conoscenza trattenuta, nonché le tecniche di memoria esterna che incontrano difficoltà di routing. Progettato per la modifica continua del modello, questo metodo facilita modifiche comportamentali specifiche preservando l'integrità complessiva del modello. La ricerca è disponibile su arXiv con ID 2605.08143.
Fatti principali
- HoReN è un editor che preserva i parametri basato su codebook per grandi modelli linguistici
- Avvolge un singolo strato MLP con un codebook discreto chiave-valore
- Ogni voce del codebook è interpretata sia come chiave di memoria della conoscenza che come pattern memorizzato di Hopfield moderno
- Il metodo affronta il degrado delle prestazioni su larga scala nella modifica del modello
- Supera i limiti degli approcci locate-then-edit e di memoria esterna
- L'articolo è disponibile su arXiv con ID 2605.08143
- HoReN è progettato per la modifica continua del modello
- Consente aggiornamenti comportamentali mirati senza riaddestramento
Entità
Istituzioni
- arXiv