Attenzione Lineare Esatta: Un Nuovo Meccanismo per i Transformer

Uno studio recente introduce l'Attenzione Lineare Esatta (ELA), un metodo innovativo che raggiunge un'efficienza computazionale lineare per l'attenzione dei Transformer sfruttando la decomposizione esatta delle funzioni kernel, eliminando gli errori di approssimazione. Questa innovazione affronta problemi come l'esplosione del gradiente e la diluizione dell'attenzione dei token osservati nei precedenti metodi di attenzione lineare, imponendo vincoli sui kernel che garantiscono non negatività, discriminabilità e un chiaro significato geometrico. I nuovi kernel includono il Kernel Exp di Hadamard, il Kernel della Somma della Distanza Euclidea al Quadrato e il Kernel della Sottrazione della Distanza Euclidea al Quadrato. Inoltre, i miglioramenti includono una struttura Hyper Link che sostituisce le connessioni residue tradizionali per mitigare il degrado del gradiente, insieme a un modulo Memory Lobe che utilizza l'attenzione lineare bidirezionale per tracciare il flusso di trasformazione attraverso i livelli.