Studio: l'eterogeneità del gradiente spiega il vantaggio di Adam rispetto a SGD nel fine-tuning dei Transformer

Una nuova ricerca pubblicata su arXiv (2502.00213v5) affronta il motivo per cui gli ottimizzatori adattivi superano SGD nell'addestramento dei Transformer. Gli autori esaminano il contesto del fine-tuning e si concentrano sull'eterogeneità del gradiente, definita come la differenza dei valori della norma del gradiente tra blocchi di parametri, insieme all'eterogeneità dell'Hessiana. La loro analisi teorica mostra che entrambi i tipi di variazione possono ostacolare la convergenza di approcci basati sul gradiente come SGD, mentre i metodi basati sul segno si rivelano sostanzialmente meno vulnerabili. Adam e SignSGD si basano entrambi su regole di aggiornamento coordinate-wise, il che significa che sono meno influenzati dalla scala di ogni singola coordinata del gradiente. L'articolo utilizza SignSGD come sostituto trattabile del comportamento simile ad Adam. I lavori precedenti avevano lasciato irrisolta la fonte precisa del vantaggio di Adam. Questo preprint replace-cross contribuisce con una spiegazione formale basata sulla variazione a blocchi dei gradienti.