RMSWeb: Nuova Ricetta di Addestramento per Agenti Web Compatti

Un recente articolo su arXiv presenta RMSWeb, una nuova metodologia di addestramento in tre parti per agenti web compatti che utilizza Qwen3-VL-Instruct sia a scala 8B che 32B. Affronta le difficoltà associate all'addestramento di agenti web, come l'acquisizione costosa di dati e l'apprendimento per rinforzo (RL) subottimale dopo il fine-tuning supervisionato (SFT). RMSWeb include tentativi condizionati dalla riflessione per migliorare l'efficienza di raccolta e ridurre la lunghezza delle traiettorie di successo, mining dei modi di fallimento per concentrare l'RL offline sugli stati essenziali, e Salvage-DS, che integra una ricompensa polarizzata semantica delle azioni, campionamento dinamico gated da contrasto e competenza, e un framework di ricompensa a livello di azione. Lo studio nota che i dataset di traiettorie complete sono in gran parte composti da stati di routine, e l'RL relativo al gruppo su azioni web può subire aggiornamenti inefficaci o fuorvianti. Queste tecniche mirano a migliorare l'efficienza dell'addestramento e le capacità degli agenti. L'articolo è disponibile su arXiv con identificativo 2608.00335.