RLAAR: Il Curriculum RL Riduce il Problema del Perdere il Filo nella Conversazione nei LLM

Un nuovo framework chiamato RLAAR (Reinforcement Learning with Verifiable Accuracy and Abstention Rewards) affronta il problema del Lost-in-Conversation (LiC) nei modelli linguistici di grandi dimensioni, dove le prestazioni degradano man mano che le informazioni vengono rivelate attraverso più turni. L'approccio utilizza un curriculum basato sulla competenza che aumenta gradualmente la difficoltà del dialogo, combinato con un sistema di ricompense miste che incoraggia risposte corrette e astensione informata quando le domande sono irrisolvibili. RLAAR impiega rollout multi-turno on-policy per addestrare i modelli a bilanciare la risoluzione dei problemi con l'astensione, riducendo le risposte premature. Il lavoro è motivato dai progressi nel Reinforcement Learning with Verifiable Rewards (RLVR) e mira a migliorare l'affidabilità nelle conversazioni multi-turno.