Nuovo metodo calibra l'ottimizzatore Adam per LLM utilizzando il rapporto segnale-rumore

Un nuovo metodo, Module-wise Learning Rate Scaling via SNR (MoLS), affronta l'eterogeneità del gradiente nei modelli linguistici di grandi dimensioni stimando i rapporti segnale-rumore a livello di modulo per scalare gli aggiornamenti dell'ottimizzatore Adam. L'approccio, dettagliato in arXiv:2605.05794, automatizza l'allocazione del tasso di apprendimento per modulo senza regolazione manuale, con l'obiettivo di migliorare la convergenza e la stabilità nell'addestramento di LLM con composizioni eterogenee di moduli.