FACTOR: Nuovo Metodo di Assegnazione del Credito per l'Apprendimento per Rinforzo Multi-Turno degli Agenti

Un recente articolo di ricerca presenta FACTOR, un nuovo approccio per l'assegnazione del credito nell'apprendimento per rinforzo multi-turno degli agenti. Questo articolo, disponibile su arXiv (2608.07118), distingue tra assegnazione del credito a livello di traiettoria e distribuzione del credito a livello di token. Utilizzando i residui TD calibrati tramite checkpoint, FACTOR assegna crediti per ogni azione che contribuiscono al vantaggio della traiettoria, mentre i divari di verosimiglianza insegnante-studente condizionati dal feedback aiutano a distribuire ogni credito tra i token delle azioni eseguite. La normalizzazione a livello di azione mantiene il coefficiente medio dell'azione ed evita inversioni di segno a livello di token. Inoltre, questo metodo incorpora una riduzione della media delle azioni, eliminando la relazione implicita tra il peso scalare surrogato di un'azione e la sua lunghezza in token. FACTOR dimostra miglioramenti costanti rispetto ai baseline consolidati negli ambienti ALFWorld, WebShop e ScienceWorld. Il team di ricerca ha annunciato questa sottomissione su arXiv.