RLSVR: Ricompense Auto-Verificabili per il Miglioramento Automatico di LLM aperti

I ricercatori hanno introdotto il Reinforcement Learning con Ricompense Auto-Verificabili (RLSVR), un nuovo framework di addestramento che potenzia RLVR per compiti aperti trasformandoli in ambienti proxy verificabili. Mentre RLVR ha notevolmente avanzato i LLM focalizzati sul ragionamento, la sua applicabilità è limitata ad aree come matematica e programmazione, dove la correttezza può essere verificata in modo definitivo. Al contrario, i compiti aperti dipendono da preferenze umane, modelli di ricompensa o valutazioni da parte di LLM, che possono portare a bias e costi maggiori. RLSVR sfrutta l'apprendimento auto-supervisionato per creare compiti pretesto che generano supervisione dai dati stessi, producendo segnali di ricompensa automaticamente attraverso regole interne e risultati delle interazioni. L'articolo completo è disponibile su arXiv.