Attenzione 2-simpliciale linearizzata raggiunge costo lineare con portata globale

Un recente articolo di ricerca presenta una variante linearizzata dell'attenzione 2-simpliciale, che migliora i meccanismi di attenzione convenzionali per gestire interazioni di ordine superiore. Gli autori riformulano il punteggio trilineare come un prodotto interno che coinvolge una query composita e una chiave, consentendo alla sommatoria lungo un asse dei token di rispecchiare la struttura dell'attenzione softmax standard. Utilizzano caratteristiche casuali positive per approssimare questa sommatoria, preservando l'intera storia in uno stato di dimensione fissa mentre mantengono esplicitamente il secondo asse su una breve finestra di token recenti. Questo approccio raggiunge una complessità lineare rispetto alla lunghezza della sequenza offrendo una prospettiva globale assente nell'attenzione 2-simpliciale a finestra. Implementato con kernel Triton personalizzati e integrato con l'attenzione delta di Kimi, questo modello opera senza attenzione softmax. Quando confrontato a parità di calcolo, dimostra la più alta accuratezza media downstream rispetto ad altre architetture. Con una lunghezza di contesto di 16k, migliora l'accuratezza media rispetto a un ibrido KDA e riduce la perplessità LAMBADA da 715.6 a 602.6. L'articolo è accessibile su arXiv con l'identificatore 2608.09307 nella sezione Informatica > Intelligenza Artificiale.