BetaPRM: Modello di Ricompensa Processuale Distribuzionale per un Feedback Affidabile a Livello di Passo

Uno studio recente pubblicato su arXiv introduce BetaPRM, un modello di ricompensa processuale distribuzionale progettato per prevedere sia la probabilità di successo a ogni passo che l'affidabilità di tale previsione. I PRM esistenti producono un singolo punteggio di ricompensa per ogni passo, che i metodi successivi spesso assumono essere accurato nonostante potenziali difetti. Al contrario, BetaPRM impiega una verosimiglianza Beta-Binomiale per derivare una credenza Beta da continuazioni Monte Carlo, offrendo un indicatore di affidabilità che aiuta a determinare quando una ricompensa di passo è attendibile. Questo progresso consente applicazioni come l'Allocazione Adattiva del Calcolo per distinguere tra ricompense affidabili e incerte.