Nuova Famiglia di Perdite per l'Ottimizzazione di GFlowNet e LLM

È stato pubblicato uno studio che presenta una collezione di funzioni di perdita surrogate per l'addestramento di modelli generativi, come GFlowNet e grandi modelli linguistici (LLM). I ricercatori dimostrano che l'errore quadratico medio, che misura la differenza tra le probabilità logaritmiche target e del modello ed è stato una perdita efficace a bassa varianza, può essere generalizzato per comprendere l'intero insieme delle f-divergenze. Questa famiglia innovativa di perdite presenta la caratteristica che, quando valutata on-policy, i loro gradienti si allineano con quelli della rispettiva f-divergenza, mantenendo lo stesso minimizzatore globale off-policy. La ricerca stabilisce un collegamento diretto tra funzioni di perdita invarianti per traslazione sulle probabilità logaritmiche e f-divergenze, facilitando la creazione di nuove perdite surrogate per ottimizzare vari modelli generativi. L'articolo è disponibile su arXiv con identificatore 2605.15417.