CoAdapt-GUI: Adattamento al Momento del Test per Applicazioni GUI Mobili Non Viste
Un nuovo studio ha introdotto CoAdapt-GUI, progettato per migliorare il modo in cui gli agenti GUI mobili si adattano a nuove applicazioni al momento del test. Questo framework adatta sia il contesto del flusso di lavoro che la politica dell'agente utilizzando i propri rollout e ricompense dall'app target. Mantiene processi e regole trasferibili mentre scarta i dettagli specifici dell'app sorgente, consentendo l'adattamento basato sulla conoscenza del flusso di lavoro. Per aggiornare la politica, impiega un metodo che ottimizza un adattatore LoRA all'interno di un modello visione-linguaggio fisso. Nelle valutazioni su due benchmark con app non familiari, CoAdapt-GUI ha ottenuto un punteggio del 45,0% su AndroidWorld-Generalization, superando il 37,5% della baseline TTA Policy-Only, e ha anche migliorato i risultati su AndroidWorld Plus. L'articolo è disponibile su arXiv con l'identificatore 2608.11588.
Fatti principali
- CoAdapt-GUI è un framework di adattamento al momento del test per agenti GUI mobili.
- Adatta congiuntamente il contesto del flusso di lavoro e la politica da rollout e ricompense dell'app target.
- Il contesto del flusso di lavoro conserva procedure trasferibili, modalità di errore e regole di verifica.
- L'adattamento della politica utilizza l'ottimizzazione relativa al gruppo abbinata al contesto del compito su un adattatore LoRA.
- Raggiunge il 45,0% su AndroidWorld-Generalization rispetto al 37,5% della baseline TTA Policy-Only.
- Migliora anche le prestazioni su AndroidWorld Plus.
- Articolo disponibile su arXiv con ID 2608.11588.
- Mira a migliorare la generalizzazione a applicazioni GUI non viste senza dimostrazioni target.
Entità
Istituzioni
- arXiv