AndroidReality: Valutare la Robustezza degli Agenti Mobili in Condizioni Reali
Un nuovo framework chiamato AndroidReality è stato sviluppato dai ricercatori per valutare e migliorare la resilienza degli agenti mobili. Questo framework affronta il notevole calo di prestazioni che questi agenti subiscono nelle applicazioni del mondo reale, in contrasto con gli standard online incontaminati come AndroidWorld. Utilizzando un approccio basato sul Processo Decisionale di Markov (MDP), i ricercatori hanno classificato la variabilità delle interfacce reali in una tassonomia di perturbazioni su tre dimensioni: stato, transizione e azione. Questa classificazione ha facilitato la creazione di un benchmark mobile perturbato basato su AndroidWorld, incorporando iniezioni di perturbazione realistiche e gestibili per test approfonditi di robustezza. I risultati hanno rivelato significative carenze di robustezza e hanno evidenziato quattro tipi di errori comuni, portando all'introduzione di un metodo semplice, senza addestramento, chiamato Test-Time Introspective Recovery (TTIR) per affrontare queste sfide. Lo studio completo è documentato in un articolo su arXiv (arXiv:2608.07775).
Fatti principali
- AndroidReality è un framework basato su perturbazioni per valutare la robustezza degli agenti mobili.
- Il framework utilizza una prospettiva basata sul Processo Decisionale di Markov (MDP) per categorizzare le perturbazioni.
- Le perturbazioni sono organizzate lungo tre assi: stato, transizione e azione.
- Il benchmark è costruito su AndroidWorld con iniezioni di perturbazioni realistiche.
- La valutazione ha mostrato notevoli lacune di robustezza e quattro categorie di errori ricorrenti.
- È stato proposto un meccanismo di recupero introspettivo al momento del test (TTIR) senza addestramento.
- L'articolo è disponibile su arXiv con ID 2608.07775.
- Il lavoro mira a colmare il divario tra benchmark puliti e implementazione nel mondo reale.
Entità
Istituzioni
- arXiv