Rimpianto Dinamico Senza Parametri per OCO Sotto Rumore a Coda Pesante
Un nuovo algoritmo, HT-PAder, raggiunge un rimpianto dinamico universale nell'ottimizzazione convessa online sotto rumore a coda pesante senza richiedere conoscenza preliminare dei parametri del problema. Il metodo combina esperti AdaGrad riavviati con un meta-algoritmo basato sul percorso, AdaGrad-Hedge, e gestisce gradienti stocastici con solo un momento centrale p-esimo finito per p in (1,2]. Il limite di rimpianto atteso scala con il diametro del dominio D, la costante di Lipschitz G, il livello di rumore σ e la lunghezza del percorso del comparatore P_T. Questo lavoro risolve una sfida aperta nell'OCO non stazionario.
Fatti principali
- HT-PAder è senza parametri e non richiede conoscenza preliminare dei parametri del problema.
- L'algoritmo gestisce rumore a coda pesante con momento centrale p-esimo finito per p in (1,2].
- Combina esperti AdaGrad riavviati su blocchi di lunghezza geometrica con il meta-algoritmo AdaGrad-Hedge.
- Il rimpianto dinamico universale atteso è O~(GD√(T(1+P_T/D)) + σD T^{1/p}(1+P_T/D)^{(p-1)/p}).
- L'articolo è pubblicato su arXiv con ID 2607.27073.
- Il lavoro affronta ambienti non stazionari nell'ottimizzazione convessa online.
- AdaGrad-Hedge non richiede condizioni di momento sulle meta-perdite.
- L'algoritmo raggiunge il rimpianto dinamico senza conoscere D, G, σ o P_T.
Entità
Istituzioni
- arXiv