RL Interattivo Calibrato Affronta lo Shift di Distribuzione nel Dialogo con LLM

Un recente studio pubblicato su arXiv (2605.26403) evidenzia lo shift di distribuzione del contesto come una sfida critica nell'addestramento di agenti dialogici basati su LLM. I ricercatori dimostrano che sia il RL a Contesto Statico (che si basa su log offline fissi) sia il RL Interattivo (che utilizza simulatori basati su prompt) subiscono un disallineamento tra i dialoghi di addestramento e le conversazioni reali, portando a un degrado quadratico della qualità nel corso di più turni. Identificano due cause principali per questo shift: una derivante da cambiamenti indotti dalla politica a causa di storie statiche e l'altra da discrepanze indotte dal simulatore tra il comportamento umano e le simulazioni. Per affrontare questo problema, introducono il RL Interattivo Calibrato, un framework completo che integra il RL interattivo con un simulatore calibrato, con l'obiettivo di ridurre entrambi i tipi di shift e promuovere lo sviluppo di agenti LLM altamente interattivi.