Semi-DPO: Apprendimento Semi-Supervisionato per Preferenze Rumorose nella Diffusion DPO

Uno studio recente pubblicato su arXiv (2604.24952) presenta Semi-DPO, un metodo di apprendimento semi-supervisionato progettato per affrontare il rumore delle etichette nell'Ottimizzazione Diretta delle Preferenze (DPO) per modelli di diffusione. Mentre le preferenze visive umane sono intrinsecamente multidimensionali, i dataset attuali le riducono a semplici etichette binarie (vincitore/perdente), generando segnali di gradiente contrastanti. Semi-DPO identifica coppie di preferenze consistenti come dati etichettati puliti e tratta le coppie contrastanti come dati non etichettati rumorosi. Inizialmente, si addestra su un sottoinsieme pulito filtrato per consenso, e successivamente utilizza il modello come classificatore implicito per creare pseudo-etichette per i dati rumorosi, consentendo un raffinamento iterativo. Questo approccio raggiunge prestazioni all'avanguardia.