Il Pretraining sulle Transizioni di Stato Potenzia le Performance degli Agenti GUI

Un nuovo approccio chiamato State Transition Pretraining (STP) è stato introdotto dai ricercatori, fungendo da nuovo asse di scaling per gli agenti GUI attraverso il pretraining continuo di un modello multimodale unificato focalizzato sulle transizioni di stato visive. Questa tecnica migliora simultaneamente la dinamica inversa (che implica la previsione delle azioni basata sui cambiamenti di stato) e la dinamica diretta (che comporta la previsione degli stati successivi a partire dagli stati e dalle azioni correnti). Di conseguenza, il modello acquisisce rappresentazioni visive ancorate alle azioni e un modello del mondo interno completo delle dinamiche GUI. Quando ottimizzati con traiettorie di task, i modelli addestrati con STP superano le prestazioni di base su benchmark desktop e mobili, come AgentNetBench, AndroidControl e GUIOdyssey. Gli studi indicano che l'ottimizzazione congiunta delle dinamiche porta a guadagni consistenti rispetto all'addestramento con obiettivo singolo, con prestazioni che migliorano all'aumentare del volume dei dati di pretraining. I risultati sono pubblicati nel preprint arXiv 2607.24112.