Campionamento SDE-Consistente per il Post-Addestramento RL di Modelli Flow-Matching

Un recente studio pubblicato su arXiv introduce "Precise", un metodo innovativo progettato per migliorare i modelli flow-matching tramite apprendimento per rinforzo post-addestramento. L'approccio sostituisce la tradizionale equazione differenziale ordinaria deterministica nel tempo inverso con un'equazione differenziale stocastica, consentendo lo sviluppo di una politica stocastica per l'apprendimento per rinforzo online. I ricercatori si concentrano su due aspetti chiave: ottimizzare l'esplorazione stocastica e discretizzare efficientemente la SDE con meno passaggi. Valutano l'equilibrio tra esplorazione e stabilità, ottenendo un nuovo programma SDE che migliora significativamente l'allineamento con i prompt e la qualità percettiva nei modelli generativi di diffusione e flow-matching.