CU-DPO migliora il ragionamento dei LLM con segnali di utilità continua

Un nuovo approccio noto come Continuous Utility Direct Preference Optimization (CU-DPO) introduce punteggi continui al posto delle etichette di preferenza binarie, consentendo una valutazione più sfumata della qualità del ragionamento nei grandi modelli linguistici. Questo metodo allinea i modelli a una varietà di strategie cognitive basate su prompt. I risultati teorici dimostrano che l'impiego di K strategie produce un miglioramento Theta(K log K) nella complessità del campione rispetto alle preferenze binarie, e che DPO si avvicina alla politica di massimizzazione dell'utilità regolarizzata dall'entropia. Il processo di addestramento prevede due fasi: prima, la selezione della strategia, che ottimizza il modello per identificare la strategia più efficace attraverso confronti best-vs-all, seguita dal perfezionamento dell'esecuzione, concentrandosi sull'applicazione corretta della strategia scelta utilizzando segnali marginali. Il documento è disponibile su arXiv con il riferimento 2602.00931.