MINT: Distillazione di Preferenze con Selezione Minima per un Allineamento Multi-Obiettivo Bilanciato

Una nuova tecnica chiamata MINT (distillazione di preferenze con selezione minima) è stata sviluppata dai ricercatori per allineare gli agenti linguistici con più obiettivi contemporaneamente. Questo metodo affronta un problema frequente nell'addestramento basato sulle preferenze, dove la combinazione additiva degli obiettivi può portare al collasso dell'ottimizzazione, dando priorità all'obiettivo più semplice rispetto agli altri. MINT suggerisce una modifica semplice alla distillazione delle preferenze: piuttosto che valutare i candidati in base a una somma pesata delle ricompense, li valuta in base al loro obiettivo più debole, identificando così l'opzione più equilibrata invece di quella più sbilanciata. Questo si allinea al limite p → -∞ di una famiglia di medie generalizzate, che va dalla selezione additiva a quella del caso peggiore. I test su supporto emotivo cooperativo e negoziazione avversaria hanno mostrato che la selezione minima migliora entrambi gli obiettivi riducendo significativamente il loro squilibrio. Lo studio è disponibile su arXiv con l'identificatore 2608.14828.