CoCD: Un ottimizzatore ZO deterministico con coerenza del gradiente
Un nuovo articolo su arXiv propone il Coherent Coordinate Descent (CoCD), un metodo di ottimizzazione deterministico di ordine zero che raggiunge una complessità di query O(1) per passo sfruttando i gradienti storici attraverso un livellamento implicito del paesaggio. Il metodo è teoricamente equivalente al Block Cyclic Coordinate Descent con warm start, convertendo i gradienti obsoleti in una risorsa computazionale. I limiti di errore rivelano che una grande coerenza del gradiente può migliorare la convergenza.
Fatti principali
- CoCD è un ottimizzatore ZO deterministico
- Raggiunge una complessità di query O(1) per passo
- CoCD è equivalente a BCCD con warm start
- I gradienti storici sono usati come risorsa computazionale
- I limiti di errore mostrano che una grande coerenza migliora la convergenza
- L'articolo è su arXiv con ID 2605.14373
- Affronta l'inefficienza del campionamento e l'alta varianza nei metodi ZO
- Il metodo è budget-aware
Entità
Istituzioni
- arXiv