Stabilità dei Transformer sotto la normalizzazione di livello

Un nuovo articolo arXiv (2510.09904v2) indaga la stabilità dei Transformer profondi sotto varie posizioni della normalizzazione di livello. Lo studio fornisce un'analisi teorica sia della stabilità in avanti (stati nascosti) che all'indietro (gradienti), offrendo approfondimenti sulle dinamiche di addestramento. Deriva limiti espliciti sulla crescita degli stati nascosti e spiega come la normalizzazione di livello influenzi la retropropagazione del gradiente, guidando la scalatura dei passi residui per migliorare la stabilità. L'articolo affronta il posizionamento ad hoc della normalizzazione di livello, un problema comune nell'addestramento dei Transformer.