Absorber LLM: Sincronizzazione Causale per Inferenza Efficiente su Contesti Lunghi
I ricercatori propongono Absorber LLM, un metodo che formula la ritenzione di contesti lunghi come sincronizzazione causale auto-supervisionata. L'approccio assorbe i contesti storici nei parametri del modello, consentendo a un modello senza contesto di eguagliare le generazioni future del modello originale. Ciò affronta l'elevato costo computazionale dell'auto-attenzione nei transformer e supera le limitazioni di alternative a memoria costante come RNN e SSM, che perdono dipendenze a coda lunga, e del Test-Time Training (TTT), che sovra-adatta la proiezione a livello di token. Esperimenti su compiti a contesto lungo dimostrano l'efficacia. L'articolo è disponibile su arXiv.
Fatti principali
- Absorber LLM utilizza la sincronizzazione causale per il test-time training.
- Affronta l'elevato consumo di memoria dell'auto-attenzione nei transformer.
- Alternative a memoria costante come RNN e SSM perdono dipendenze a coda lunga.
- I metodi TTT sovra-adattano la proiezione a livello di token e non riescono a preservare l'effetto causale.
- Il metodo assorbe i contesti storici nei parametri.
- Un modello senza contesto eguaglia il modello originale con contesto completo sulle generazioni future.
- Esperimenti mostrano efficacia su compiti a contesto lungo.
- L'articolo è su arXiv con ID 2604.20915.
Entità
Istituzioni
- arXiv