Apprendimento per Rinforzo con Verificatori Rumorosi

Un recente articolo su arXiv (2510.00915) affronta la sfida posta da verificatori inaffidabili nell'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR). Questo approccio mira a sostituire la costosa etichettatura umana con verificatori automatizzati; tuttavia, l'uso di ricompense binarizzate può portare sia a falsi positivi che a falsi negativi. I ricercatori definiscono l'inaffidabilità dei verificatori come un canale di ricompensa stocastico caratterizzato da tassi di rumore asimmetrici ρ0 per i falsi positivi e ρ1 per i falsi negativi. Presentano due semplici correzioni: una correzione all'indietro che produce una ricompensa surrogata imparziale e uno stimatore del gradiente della politica, e una correzione in avanti che aggiusta i termini della funzione di punteggio per garantire che l'aggiornamento atteso sia allineato con la direzione del gradiente pulito, basandosi esclusivamente sul tasso di falsi negativi. Queste correzioni sono integrate come hook nell'ottimizzazione relativa della politica di gruppo.