AgentLens: Modalità Visive Adattive per Agenti GUI Mobili
AgentLens funge da agente di interfaccia utente grafica mobile che utilizza dinamicamente tre modalità visive—Full UI, Partial UI e GenUI—durante le interazioni tra umani e agenti. Migliora gli agenti mobili convenzionali incorporando strategie di comunicazione adattive e utilizza Virtual Display per eseguire compiti in background con sovrapposizioni visive mirate. Questo sistema è stato creato a seguito di una ricerca formativa iterativa, che ha indicato che gli utenti preferiscono un approccio ibrido con coinvolgimento visivo just-in-time, con la modalità di visualizzazione ottimale che varia in base al compito specifico. Uno studio controllato con 21 partecipanti ha valutato l'efficacia del sistema.
Fatti principali
- AgentLens utilizza tre modalità visive: Full UI, Partial UI e GenUI.
- Estende gli agenti mobili standard con azioni di comunicazione adattive.
- Virtual Display consente l'esecuzione in background con sovrapposizioni visive selettive.
- Studi formativi hanno mostrato che gli utenti preferiscono un modello ibrido con interazione visiva just-in-time.
- La modalità di visualizzazione più efficace dipende dal compito.
- È stato condotto uno studio controllato con 21 partecipanti.
- L'articolo è su arXiv con ID 2604.20279.
- Il tipo di annuncio è cross.
Entità
Istituzioni
- arXiv