Nuovo limite inferiore sulla dipendenza dal numero di condizione nell'ottimizzazione bilevel
Un articolo su arXiv (2511.22331v4) ha recentemente introdotto un nuovo limite inferiore sulla complessità dell'oracolo associata alle tecniche del primo ordine nell'ottimizzazione bilevel, in particolare quando il problema di livello superiore è non convesso e il problema di livello inferiore mostra una forte convessità. Gli autori dimostrano un limite inferiore di Ω(κ_y^{5/2} ε^{-2}), dove κ_y indica il numero di condizione del problema di livello inferiore, che è inferiore alla dipendenza dal numero di condizione del limite superiore precedentemente stabilito (κ̄_y^{7/2}). Questo risultato segna la prima discrepanza dimostrabile nella dipendenza dal numero di condizione tra scenari bilevel e minimax in questo contesto, rimanendo stretto fino a fattori logaritmici per funzioni di livello inferiore quadratiche. La ricerca, condotta da esperti in ottimizzazione e apprendimento automatico, migliora il quadro teorico dell'ottimizzazione bilevel, rilevante per il meta-apprendimento, la regolazione degli iperparametri e l'addestramento avversariale.
Fatti principali
- L'articolo stabilisce un limite inferiore di Ω(κ_y^{5/2} ε^{-2}) per l'ottimizzazione bilevel del primo ordine.
- Il limite inferiore è il primo a mostrare un divario nella dipendenza dal numero di condizione tra problemi bilevel e minimax.
- Il limite è stretto fino a fattori logaritmici quando la funzione di livello inferiore è quadratica.
- Il limite inferiore può essere esteso a metodi del secondo ordine e ad altri contesti.
- L'articolo è disponibile su arXiv con ID 2511.22331v4.
- Il limite superiore precedentemente noto è Õ(κ̄_y^{7/2} ε^{-2}).
- Il numero di condizione del livello inferiore κ_y è minore o uguale a κ̄_y.
- L'articolo è stato annunciato come replace-cross su arXiv.
Entità
Istituzioni
- arXiv