Attenzione Zonotopica a Matrice: Una Proiezione di Valore Context-Adaptive per i Set Transformer

Un recente articolo su arXiv (2608.05472) presenta l'Attenzione Zonotopica a Matrice (MZAttn), che sostituisce in modo innovativo la proiezione di valore fissa nell'attenzione multi-testa con una famiglia di matrice-zonotopi context-adaptive. Gli autori evidenziano un'asimmetria nell'attenzione convenzionale: mentre il routing softmax varia con l'input, la proiezione di valore lineare rimane costante tra gli input, portando a uniformità nell'operatore per campione. Per affrontare questo problema, introducono i Gradi di Libertà di Trasformazione (TDOF), una misura della complessità legata alle direzioni dipendenti dall'input necessarie per una rappresentazione esatta. La loro analisi di separazione per profondità rivela che l'attenzione context-rigida richiede una profondità proporzionale al TDOF, mentre un singolo strato con valori context-adaptive può raggiungere lo stesso obiettivo. MZAttn formula questa famiglia di valori adattivi come una matrice centrale più una somma pesata di matrici generatrici influenzate da porte dipendenti dall'input. Questo lavoro è categorizzato come tipo cross su arXiv, suggerendo che possa essere cross-listato, ed è pertinente ai set transformer e agli obiettivi di set invarianti per permutazione, ponendo le basi teoriche per meccanismi di attenzione migliorati.