MobileExplorer: Accelerazione dell'Agente GUI su Dispositivo tramite Esplorazione Online
MobileExplorer è un framework innovativo progettato per migliorare l'inferenza su dispositivo per agenti GUI mobili orientati alla visione tramite esplorazione online. Sfrutta il tempo di ragionamento esteso dei modelli visione-linguaggio (VLM) conducendo un'esplorazione leggera e simultanea dei componenti dell'interfaccia utente. Mentre il modello sta inferendo, l'agente indaga attivamente gli elementi UI semanticamente pertinenti, memorizzando questi percorsi di esplorazione come memoria strutturata. Un sistema di rollback a due livelli garantisce prestazioni affidabili in ambienti mobili in tempo reale. Questa strategia mitiga i problemi di privacy e i ritardi associati ai modelli basati su cloud, facilitando così la completa implementazione su dispositivo degli agenti GUI mobili.
Fatti principali
- MobileExplorer è un framework per l'accelerazione dell'inferenza su dispositivo.
- Si rivolge ad agenti GUI mobili basati sulla visione.
- L'idea chiave è l'esplorazione online durante il ragionamento VLM.
- Viene eseguita un'esplorazione leggera e parallela degli elementi UI.
- Le tracce di esplorazione sono memorizzate come memoria strutturata.
- Un meccanismo di rollback a due livelli garantisce affidabilità.
- Affronta i problemi di privacy e latenza dei modelli cloud.
- La distribuzione completamente su dispositivo è attualmente poco esplorata.
Entità
—