CTEM: Un Framework Unificato per la Stima della Densità su Diversi Tipi di Dati

Un nuovo framework per la stima della densità chiamato Constant-Target Energy Matching (CTEM) è stato sviluppato dai ricercatori. Questo approccio basato sull'energia gestisce efficacemente domini continui, discreti e a variabili miste. A differenza dei metodi convenzionali che trattano separatamente questi tipi di dati—dove i modelli continui dipendono dai gradienti della log-densità e i modelli discreti utilizzano punteggi concreti che possono diventare instabili in stati a bassa probabilità—CTEM impiega una trasformata della differenza di energia limitata invece della tipica regressione del rapporto di densità. Stabilisce un obiettivo di addestramento basato solo su campioni con un target costante di 1. Questo metodo consente al potenziale scalare appreso di recuperare log p senza necessità di stima della funzione di partizione o regressione del rapporto illimitata. CTEM migliora significativamente le prestazioni su vari benchmark. La ricerca è disponibile su arXiv con l'identificatore 2605.09085.