Teoria cinetica per metodi di Newton di ordine zero con correzione di Stein

Un recente studio su arXiv introduce un quadro cinetico per tecniche di ottimizzazione di tipo Newton di ordine zero, che derivano gradienti e Hessiane da valutazioni di funzioni black-box senza fare affidamento su dati derivativi. I ricercatori scoprono un bias nello stimatore di base della Hessiana con direzione casuale, anche per funzioni quadratiche, e propongono una correzione di Gaussian-Stein per stimare meglio la Hessiana dell'obiettivo smussato gaussiano. Linearizzando l'inversa della Hessiana, identificano due canali di rumore: il rumore del gradiente condizionato dall'inversa della Hessiana e il rumore della Hessiana trasmesso attraverso un sandwich di inversa della Hessiana, con quest'ultimo che presenta un fattore di differenza seconda di μ_H^{-4} quando si utilizza un oracolo rumoroso. Un sollevamento cinetico a piccola massa collega l'aggiornamento di Newton a passo finito a un modello di spazio delle fasi sottosmorzato, mentre il limite spaziale sovrasmorzato rivela un limite di Lyapunov che evidenzia un compromesso curvatura-varianza. L'articolo è catalogato su arXiv con ID 2607.22567.