Modello dell'ottimizzatore Adam come flusso a barra al limite di stabilità

I ricercatori hanno adattato il modello del flusso a barra, inizialmente creato per la discesa del gradiente, per includere l'ottimizzatore Adam insieme ad altri sette ottimizzatori basati sul momento. Questo modello concettualizza le iterate successive come un'entità unidimensionale allungata, consentendo una rappresentazione in tempo continuo del comportamento di ottimizzazione vicino ai limiti di stabilità. Lo studio opera in uno spazio delle fasi congiunto di parametri e primo momento, con il secondo momento che funge da variabile ausiliaria liscia. Gli otto ottimizzatori analizzati includono il momento della palla pesante, il momento di Nesterov e le varianti scalari e per componente di RMSProp, Adam e NAdam. Test empirici su framework di machine learning tipici dimostrano che il flusso a barra monitora efficacemente le iterate discrete all'interno della zona di confine di stabilità. La ricerca è pubblicata su arXiv, riferimento 2605.06821.