PRTS: Un Modello Fondamentale VLA che Utilizza l'Apprendimento per Rinforzo Orientato agli Obiettivi

I ricercatori hanno creato un modello fondamentale innovativo chiamato PRTS, che sta per Primitive Reasoning and Tasking System. Questo modello utilizza l'Apprendimento per Rinforzo Orientato agli Obiettivi per il suo pre-addestramento, distinguendosi dai modelli convenzionali Visione-Linguaggio-Azione che si basano fortemente sul clonaggio comportamentale supervisionato. Invece, PRTS considera le istruzioni linguistiche come obiettivi e utilizza l'apprendimento per rinforzo contrastivo per formare uno spazio di embedding unificato. All'interno di questo quadro, calcola la probabilità di raggiungere un obiettivo da un dato stato-azione approssimando l'occupazione log-scontata dell'obiettivo. Questo approccio affronta una limitazione significativa dei modelli VLA esistenti, che spesso trascurano l'importanza dell'orientamento agli obiettivi e della progressione del compito. Puoi trovare questa ricerca su arXiv con l'identificatore 2604.27472.