PCSD: Coerenza Persistente per l'Auto-Distillazione nel RL Agente

Uno studio recente pubblicato su arXiv (2608.01837) presenta la Persistent Consistency Self-Distillation (PCSD), una tecnica innovativa progettata per migliorare l'apprendimento per rinforzo per agenti basati su modelli linguistici di grandi dimensioni. Questo metodo affronta il problema delle ricompense sparse in interazioni multi-turno lunghe fornendo una supervisione densa a livello di token attraverso l'auto-distillazione on-policy (OPSD). Tuttavia, l'OPSD può essere inaffidabile in punti specifici, e gli approcci attuali si concentrano su differenze isolate a livello di token (sensibili al rumore) o applicano pesi uniformi a livello di passo (ignorando i cambiamenti posizionali). La PCSD genera pesi di distillazione a livello di token basati sulla persistenza locale dei segnali a favore dell'insegnante, utilizzando finestre adattive e aggregazione con decadimento esponenziale per mantenere un supporto relativo coerente dell'insegnante. Inoltre, impiega una modulazione sensibile alla tendenza per ridurre il supporto localmente decrescente, producendo pesi continui. Questo metodo mira a migliorare la stabilità e l'efficacia del RL per agenti linguistici impegnati in compiti interattivi complessi.