FAV: Un Quadro Generale per l'Allineamento di Modelli Generativi a Pochi Passi

Un nuovo quadro di allineamento chiamato FAV (Allineamento di Modelli Generativi a Pochi Passi tramite Inferenza Variazionale Basata su Campioni) è stato sviluppato dai ricercatori. Questo approccio innovativo richiede solo l'accesso a campioni sia del generatore che della distribuzione di riferimento. Riformula l'allineamento come campionamento da una distribuzione inclinata dalla ricompensa legata a un riferimento, impiegando la Discesa del Gradiente Variazionale di Stein come metodo di inferenza variazionale basata su campioni e utilizzando la regressione a punto fisso per ammortizzare gli aggiornamenti delle particelle. Testato su manipolazione robotica e allineamento di generatori di immagini, FAV ha superato le baseline esistenti in 56 compiti di RL offline e 30 offline-to-online. Il documento di ricerca è disponibile su arXiv.