TUR-DPO: Ottimizzazione delle Preferenze Diretta Consapevole della Topologia e dell'Incertezza

Un nuovo approccio chiamato TUR-DPO è stato introdotto dai ricercatori, migliorando l'Ottimizzazione delle Preferenze Diretta (DPO) integrando topologia e incertezza per allineare meglio i modelli linguistici di grandi dimensioni (LLM) con le preferenze umane. A differenza del DPO tradizionale, che considera le preferenze semplicemente come risultati binari e fatica con input rumorosi provenienti da processi di ragionamento delicati, TUR-DPO enfatizza il ragionamento alla base delle risposte attraverso topologie di ragionamento leggere. Fonde accuratezza semantica, utilità e qualità della topologia in un segnale di incertezza raffinato. Una piccola ricompensa apprendibile viene distribuita su questi segnali e incorporata in un framework DPO pesato per l'incertezza che non richiede apprendimento per rinforzo, basandosi invece su una politica di riferimento fissa o adattiva. Valutazioni empiriche su modelli 7-8B e vari benchmark di matematica e ragionamento dimostrano miglioramenti notevoli. I risultati sono dettagliati in un articolo disponibile su arXiv, ID 2605.00224.