Re-FORC: Predizione Adattiva della Ricompensa per un Ragionamento a Catena di Pensiero Efficiente

I ricercatori hanno introdotto Re-FORC, un metodo per la predizione adattiva della ricompensa che stima le ricompense future analizzando la quantità di token di pensiero. L'utilizzo di un adattatore leggero addestrato su modelli di ragionamento migliora le previsioni, in particolare con ragionamento esteso e modelli più grandi. Re-FORC facilita la terminazione anticipata di catene di ragionamento inefficaci, portando a una riduzione del carico computazionale fino al 26% mantenendo l'accuratezza. Inoltre, ottimizza la selezione del modello e della lunghezza del ragionamento, ottenendo un aumento massimo dell'accuratezza di 1,7 punti percentuali con un carico computazionale inferiore fino al 12% rispetto al solo modello più grande. Inoltre, il ridimensionamento adattivo al momento del test aumenta l'accuratezza di 9,9 punti percentuali rispetto ai basati sulla confidenza, consentendo un ragionamento dinamico controllato da soglie di costo per token.