Fallimenti di Equità Procedurale in RLHF dovuti alla Media delle Preferenze

Uno studio recente pubblicato su arXiv con identificativo 2608.10126 evidenzia carenze nell'equità procedurale dell'Apprendimento per Rinforzo dal Feedback Umano (RLHF). I ricercatori sottolineano che l'approccio convenzionale fonde preferenze eterogenee in un unico modello di ricompensa, causando l'oscuramento delle opinioni di minoranza da parte delle preferenze di maggioranza. Essi enfatizzano che l'equità procedurale implica il mantenimento di segnali di preferenza chiari nella modellazione della ricompensa, un obiettivo non raggiunto dai metodi RLHF standard. Per affrontare questo problema, gli autori propongono un nuovo framework chiamato RLHF Consapevole delle Preferenze (PA-RLHF), che migliora l'accuratezza dell'allineamento dal 46,9% al 67,9% e riduce significativamente il divario di equità tra i gruppi allineati.