SA-OPD: Filtrare Segnali Spuri nella Distillazione On-Policy
Uno studio recente presenta SA-OPD, un framework volto a migliorare la distillazione on-policy (OPD) per i modelli linguistici. L'OPD facilita il trasferimento di competenze da un modello insegnante a uno studente guidando le traiettorie generate dallo studente con feedback dettagliato a livello di token. Mentre i recenti approcci OPD selettivi si concentrano sul dare priorità ai segnali in base a fiducia, informatività o apprendibilità, spesso trascurano una questione critica: le valutazioni a livello di token possono essere influenzate da pregiudizi linguistici generali, norme di formattazione o modelli di ragionamento stereotipati, piuttosto che basarsi su dati specifici del compito. Gli autori chiamano questa supervisione fuorviante ma rilevante per l'ottimizzazione 'segnali spuri', che possono creare gradienti significativi con effetto minimo sul miglioramento del compito. Per contrastare ciò, SA-OPD filtra le indicazioni fuorvianti a livello di token valutando la loro ancoraggio all'input e i loro effetti di ottimizzazione. L'articolo è disponibile su arXiv con identificativo 2608.03632.
Fatti principali
- L'articolo introduce SA-OPD, un framework di distillazione on-policy consapevole dei segnali spuri.
- SA-OPD affronta una modalità di fallimento nei modelli linguistici in cui i giudizi a livello di token si basano su priori indipendenti dall'input.
- I segnali spuri sono definiti come supervisione rilevante per l'ottimizzazione ma debolmente ancorata all'input.
- SA-OPD filtra la supervisione fuorviante in base all'ancoraggio all'input e all'impatto sull'ottimizzazione.
- L'articolo è pubblicato su arXiv con ID 2608.03632.
- La ricerca si concentra sul miglioramento della distillazione on-policy (OPD) per i modelli linguistici.
Entità
Istituzioni
- arXiv