Proiezioni di Query Non Lineari Migliorano le Performance dei Transformer

Un'indagine algebrica ha dimostrato che sia nei transformer decoder-only che encoder-only, la matrice di proiezione Query W_Q può essere sostituita con una matrice identità senza influenzare le prestazioni, poiché l'attenzione dipende da X solo attraverso i prodotti XW_Q, XW_K e XW_V. I ricercatori introducono una Q(X) residua non lineare Q(X) = X + f_θ(X), dove f_θ è un MLP a collo di bottiglia con d² + O(d) parametri. I test su modelli simili a GPT-3 small rivelano notevoli miglioramenti: una riduzione del 2,40% nella log-loss di validazione e una diminuzione del 6,81% nella perplexity, superando un modello con il 12,5% di parametri non di embedding aggiuntivi. La componente identità collega la non linearità a un prior consolidato, spingendo a ulteriori esplorazioni su scale più ampie e attraverso varie modalità.