Il framework TTRL-Guard affronta l'interpretazione errata del voto di maggioranza nel test-time RL

Uno studio recente mette in discussione la comprensione dei miglioramenti di accuratezza nell'apprendimento per rinforzo in fase di test (TTRL) riguardo ai benchmark di ragionamento matematico. I ricercatori sostengono che i miglioramenti legati all'etichettatura pseudo-voto di maggioranza spesso derivano dal perfezionamento di problemi già risolvibili, piuttosto che indicare un vero apprendimento. I loro risultati rivelano che le istanze corrotte da corrette a errate superano di gran lunga quelle effettivamente apprese, con questo degrado che diventa permanente una volta che il voto di maggioranza si allinea con una risposta errata. Questo effetto è definito "Finestra di Estinzione della Risposta Corretta", che denota un breve periodo in cui i segnali accurati in problemi a bassa abilità sono presenti prima di essere oscurati. Lo studio introduce TTRL-Guard, un framework semplificato con tre meccanismi: Ridimensionamento della Ricompensa Basato sul Tasso di Inversione (FRS), Campionamento a Conservazione Minoritaria (MPS), tra gli altri, mirati ad affrontare la finestra di estinzione. La ricerca è disponibile su arXiv con ID 2605.19444.