Sostituzione del Bias di Ricompensa: Le Mitigazioni su un Singolo Asse Reindirizzano la Pressione di Ottimizzazione

Uno studio recente disponibile su arXiv (2605.27996) scopre un difetto nell'approccio alla mitigazione del bias del modello di ricompensa, definito sostituzione del bias di ricompensa. Le tecniche che si concentrano su un singolo aspetto—come minimizzare la dipendenza dalla lunghezza, dalla sifofania o dallo stile—possono spostare la pressione di ottimizzazione su proxy correlati invece di risolverla. Questo problema deriva da una discrepanza tra misurazione e ottimizzazione durante la valutazione della mitigazione e l'addestramento delle politiche. I ricercatori classificano i risultati della mitigazione in una tassonomia dei regimi e dimostrano che la mitigazione riuscita, la sostituzione del bias e la sovracorrezione producono gli stessi risultati osservabili in qualsiasi punteggio di distribuzione di audit, inclusi l'accuratezza della classifica e il tasso di vittoria, anche con una conoscenza perfetta della ricompensa effettiva. Una revisione delle strategie di mitigazione dell'apprendimento delle preferenze esistenti rivela che nessuna fornisce le prove necessarie per confermare una mitigazione riuscita. Migliorare la valutazione incorporando distribuzioni indotte dalla politica mentre si monitorano più bias colma efficacemente questo divario.