Vicini Epistemici Più Vicini: Un'Alternativa Scalabile ai Processi Gaussiani nell'Ottimizzazione Bayesiana
Un nuovo metodo chiamato Vicini Epistemici Più Vicini (ENN) viene proposto come alternativa leggera ai processi gaussiani (GP) per l'ottimizzazione bayesiana (BO). La BO tradizionale si basa su surrogati GP, che scalano male con grandi dataset: il costo di adattamento degli iperparametri è O(N^3) o circa O(N^2) nelle implementazioni moderne, ripetuto a ogni iterazione della BO. ENN stima i valori della funzione e l'incertezza (sia epistemica che aleatoria) utilizzando osservazioni dei K vicini più prossimi, raggiungendo una scala O(N) sia per l'adattamento che per l'acquisizione. Questo risolve il collo di bottiglia dell'adattamento degli iperparametri GP in regimi in cui la valutazione della funzione è più economica e le osservazioni sono abbondanti. Il metodo è introdotto in un articolo su arXiv (2506.12818).
Fatti principali
- L'ottimizzazione bayesiana risolve tradizionalmente problemi black-box con valutazioni di funzione costose.
- Recente interesse nella BO per problemi con valutazioni più economiche e più osservazioni.
- L'adattamento degli iperparametri GP scala come O(N^3) o circa O(N^2) nelle implementazioni moderne.
- L'adattamento GP viene ripetuto a ogni iterazione della BO, diventando il collo di bottiglia.
- I Vicini Epistemici Più Vicini (ENN) sono un'alternativa leggera ai GP.
- ENN stima i valori della funzione e l'incertezza dalle osservazioni dei K vicini più prossimi.
- ENN scala come O(N) sia per l'adattamento che per l'acquisizione.
- L'articolo è disponibile su arXiv con identificatore 2506.12818.
Entità
Istituzioni
- arXiv