La fusione del comportamento nella regione di fiducia migliora la distillazione on-policy

I ricercatori hanno introdotto Trust-Region Behavior Blending (TRB), una tecnica di warmup per la distillazione on-policy (OPD) volta a migliorare la qualità dei rollout iniziali dello studente. L'OPD prevede l'addestramento di uno studente utilizzando i prefissi della propria politica allineandosi con un insegnante più esperto, ma i rollout iniziali tendono a essere scadenti. TRB migliora questo processo sostituendo la politica di rollout iniziale con la politica comportamentale più vicina all'insegnante all'interno di una regione di fiducia KL centrata sullo studente, mantenendo invariata la perdita OPD reverse-KL per prefisso. Il budget KL viene gradualmente ridotto a zero, consentendo un ritorno ai rollout standard dello studente dopo il warmup. In due scenari di distillazione per il ragionamento matematico, TRB supera tutti gli altri metodi valutati.