BCMT: Una Nuova Architettura Transformer per la Modellazione Efficiente del Linguaggio a Contesto Lungo

Una nuova architettura chiamata BCMT (Blockwise Causal Memory Transformer) è stata sviluppata da ricercatori per modellare il linguaggio a contesto lungo. Questo design innovativo affronta la complessità quadratica associata all'auto-attenzione densa nei Transformer tradizionali separando le interazioni locali tra token dalla propagazione del contesto globale. In BCMT, i blocchi locali utilizzano indipendentemente l'auto-attenzione causale densa, e ogni blocco produce un riassunto adattivo che viene combinato utilizzando una memoria causale esponenziale. Questa memoria viene reintegrata nelle rappresentazioni dei token, facilitando il trasferimento efficiente delle informazioni contestuali a lungo raggio senza la necessità di attenzione globale. A differenza dei Transformer convenzionali e dei sistemi di memoria ricorrente, BCMT elimina le interazioni dense tra token distanti e non dipende da stati di memoria appresi. Il suo sistema di memoria è completamente parallelizzabile e compatibile con i metodi standard di addestramento e inferenza. L'articolo è disponibile su arXiv con l'identificatore 2608.13578, classificato come 'cross'. Questo avanzamento potrebbe migliorare notevolmente l'efficienza nell'elaborazione di sequenze lunghe nelle applicazioni di elaborazione del linguaggio naturale.