LLQR+SAM: Minimizzazione della nitidezza consapevole della geometria per reti neurali
Una nuova tecnica di ottimizzazione chiamata LLQR+SAM è stata sviluppata dai ricercatori, migliorando la minimizzazione della nitidezza (SAM) attraverso l'integrazione della geometria della perdita appresa. Mentre SAM migliora la generalizzazione regolando i parametri nelle direzioni ad alta curvatura, lo fa in modo uniforme in tutte le direzioni. LLQR+SAM fonde SAM con un precondizionatore derivato dal framework LLQR, che riformula la discesa più ripida in un problema di regolatore lineare-quadratico a strati. Questo precondizionatore viene aggiornato gradualmente utilizzando una media mobile esponenziale lenta, fornendo una visione smussata e a bassa risoluzione del paesaggio della perdita. Di conseguenza, la perturbazione SAM opera su questa geometria appresa a un ritmo accelerato. Teoricamente, questo approccio a due scale temporali rafforza la capacità di SAM di sfuggire in direzioni localmente nitide ma piatte nella geometria media, simile a manovrare attorno alle buche, migliorando così la generalizzazione adattandosi alla curvatura locale della superficie di perdita.
Fatti principali
- LLQR+SAM combina SAM con un precondizionatore appreso dal framework LLQR.
- Il precondizionatore viene aggiornato sporadicamente come una media mobile esponenziale lenta.
- La perturbazione SAM opera sulla geometria appresa a una scala temporale più veloce.
- La struttura a due scale temporali amplifica il segnale di fuga nelle direzioni localmente nitide.
- Il metodo è descritto nell'articolo arXiv 2605.16134.
- SAM tratta tutte le direzioni dei parametri in modo uniforme, ignorando la geometria della perdita.
- LLQR è un metodo del secondo ordine che riformula la discesa più ripida come un problema LQR a strati.
- L'approccio è paragonato alla navigazione delle buche con consapevolezza della geometria.
Entità
Istituzioni
- arXiv