Decomposizione della curvatura dei circuiti probabilistici e regolarizzatore adattivo

Uno studio recente pubblicato su arXiv (2608.12869) introduce una teoria della curvatura composizionale per i circuiti probabilistici (PC), che sono modelli generativi che consentono un'inferenza precisa. A differenza delle reti neurali profonde, i PC facilitano il calcolo esatto della traccia dell'Hessiana della log-verosimiglianza, riflettendo la curvatura della superficie di perdita. Ricerche precedenti hanno applicato una regolarizzazione globale a questa traccia per promuovere ottimi più piatti; tuttavia, gli autori sostengono che questo metodo può essere specificato in modo errato per i PC a causa della loro natura composizionale. Dimostrano che il contributo di ciascun nodo somma alla traccia dell'Hessiana è un prodotto del suo flusso di circuito e di un termine di nitidezza locale legato alla sua distribuzione di output. Questa scoperta chiarisce perché la regolarizzazione globale della nitidezza tende a essere distorta in profondità, causando potenzialmente un sottoadattamento. Di conseguenza, propongono un regolarizzatore adattivo sensibile alla nitidezza che penalizza i nodi in base alla loro curvatura locale mantenendo la trattabilità in forma chiusa. Gli autori, ricercatori nel campo, evidenziano le implicazioni teoriche per la geometria dei circuiti probabilistici e suggeriscono un miglioramento pratico per il loro addestramento.