ICSD: Nuovo Metodo per l'Auto-Distillazione On-Policy nel RL Agentico

Uno studio recente presenta l'Influence Calibration for Self-Distillation (ICSD), una tecnica innovativa volta a migliorare l'auto-distillazione on-policy (OPSD) nell'apprendimento per rinforzo agentico. Questa ricerca, disponibile su arXiv (2608.14945), affronta il problema del disallineamento fiducia-utilità prevalente negli attuali approcci OPSD che assegnano la supervisione a livello di token basandosi sulla fiducia dell'insegnante, trascurando spesso se l'attenzione su un token sia in linea con gli obiettivi della politica. L'ICSD valuta la risposta del primo ordine del surrogato RL pesato per importanza alle modifiche indotte dall'insegnante per ogni token supervisionato. Impiegando una calibrazione batch-adattiva, trasforma questo segnale fluttuante in un peso di allocazione controllato, mantenendo la massa della perdita ausiliaria originale durante ogni turno di azione. I pesi staccati influenzano solo la perdita di distillazione, eliminando la necessità di un passaggio aggiuntivo del modello. Le valutazioni sui benchmark ALFWorld, WebShop e Search-QA hanno dimostrato miglioramenti in tutte le metriche aggregate rilevanti rispetto all'allocazione basata solo sulla fiducia. Lo studio è stato recentemente inviato ad arXiv.