Trasferimento di memoria tra modelli tramite adattamento del lettore lato destinazione
Il preprint su ArXiv, numero 2608.17050, esplora il ruolo della memoria nei modelli linguistici di grandi dimensioni, esaminando in particolare gli effetti del contenuto di memoria fisso rispetto al lettore lato destinazione durante il trasferimento di un sistema di memoria hashed. Identifica tre tipi di miglioramento della conoscenza: il recupero non parametrico, che consente un accesso adattabile ma soffre di latenza e integrazione limitata; l'adattamento parametrico, che incorpora la conoscenza nei pesi del modello per una maggiore efficienza ma complica gli aggiornamenti; e la memoria hashed stile Engram, che unisce entrambi gli approcci mantenendo i dati in una tabella esterna insieme a un lettore addestrato. La ricerca enfatizza l'applicabilità cross-modello, analizzando come i contributi di memoria e lettore influenzino le prestazioni, con l'obiettivo di guidare lo sviluppo di sistemi AI modulari personalizzabili e aggiornabili senza un riaddestramento completo.
Fatti principali
- Il preprint ArXiv 2608.17050 indaga il trasferimento di memoria cross-modello nei modelli linguistici di grandi dimensioni.
- Vengono identificati tre regimi di utilizzo della conoscenza: recupero non parametrico, adattamento parametrico e memoria hashed stile Engram.
- Il recupero non parametrico aggiunge latenza di recupero, overhead di contesto e offre solo un'integrazione superficiale.
- L'adattamento parametrico è efficiente nell'inferenza ma intreccia la conoscenza con i pesi del modello.
- La memoria hashed stile Engram memorizza le informazioni apprese in una tabella esterna indirizzabile.
- La questione centrale è se la memoria congelata o il lettore lato destinazione conti di più quando si sposta la memoria tra backbone.
- Il metodo è l'estrazione di memoria congelata cross-modello, addestrando solo un lettore leggero sul modello target.
- L'abstract menziona le ablazioni ma si interrompe prima di presentare risultati specifici.
Entità
Istituzioni
- arXiv