Analisi delle Dinamiche di Addestramento di un Trasformatore Lineare a Due Fattori

Uno studio recente pubblicato su arXiv (2605.21292) indaga le dinamiche di addestramento di un modello trasformatore lineare a due fattori quando sottoposto a tassi di apprendimento elevati. Questa ricerca si basa sulle analisi del flusso del gradiente concentrandosi su un problema di addestramento di un trasformatore lineare a un prompt che può essere esattamente ridotto. Dopo la normalizzazione, le dinamiche si semplificano in una mappa prodotto a due fattori caratterizzata da un parametro di passo effettivo μ. All'interno della fetta bilanciata, la mappa rivela la transizione cubica scalare consolidata, comprendente convergenza monotona, convergenza a catapulta, e sia non convergenza limitata periodica che caotica, nonché divergenza. Per valori di 0<μ<2, il sistema bidimensionale completo presenta una distinta ellisse di Chebyshev invariante che delinea regioni forward-invarianti, le quali mostrano dinamiche caotiche sbilanciate.