StitchVM: Allineamento dei Modelli di Diffusione tramite Funzioni Valore Cucite
StitchVM è un framework progettato per il model stitching che trasferisce abilmente modelli di ricompensa addestrati su immagini nitide in spazi latenti rumorosi ai fini dell'allineamento della diffusione. Questa innovazione affronta la difficoltà di sincronizzare i modelli generativi basati sulla diffusione con ricompense specifiche per il compito, poiché le ricompense sono stabilite per output puliti, ma l'allineamento richiede valutazioni in latenti intermedi rumorosi. Mentre gli approcci attuali come le stime di Tweedie sono efficienti, portano bias, e le stime Monte Carlo, sebbene più precise, richiedono notevoli risorse computazionali. StitchVM si basa su un modello di ricompensa esistente, modificandolo per fornire una soluzione praticabile. La ricerca è stata resa disponibile su arXiv con ID 2605.19804.
Fatti principali
- StitchVM è un framework di model stitching per l'allineamento della diffusione.
- Trasferisce modelli di ricompensa da immagini pulite a latenti rumorosi.
- I metodi esistenti includono Tweedie (biased, efficiente) e Monte Carlo (accurato, costoso).
- L'articolo è su arXiv: 2605.19804.
- L'approccio affronta l'allineamento delle ricompense per i modelli di diffusione.
- Utilizza modelli di ricompensa pre-addestrati come punto di partenza.
- Il metodo mira a ridurre il costo computazionale mantenendo l'accuratezza.
- Il framework è progettato per ricompense specifiche del compito come la fedeltà al prompt.
Entità
Istituzioni
- arXiv