I Pozzi di Attenzione Inducono Pozzi di Gradiente nei Transformer

Un nuovo studio su arXiv (2603.17771) indaga la relazione tra i pozzi di attenzione e le attivazioni massive nei modelli Transformer, concentrandosi sulla retropropagazione. Gli autori mostrano che, sotto mascheramento causale, i pozzi di attenzione causano una concentrazione del gradiente, definita pozzi di gradiente. Sostengono che le attivazioni massive agiscono come regolatori adattivi della pressione del gradiente durante l'addestramento, poiché lo Jacobiano di RMSNorm attenua i gradienti inversamente alla norma dell'input. Lo studio prevede che ridurre i gradienti indotti dai pozzi indebolisca le attivazioni massive e propone V-scale, una modifica che regola i gradienti retropropagati per testare questa ipotesi. Il lavoro fornisce una spiegazione teorica ed empirica per questi fenomeni, precedentemente compresi principalmente dal punto di vista del forward pass.