AppDeltaWorld: Un Nuovo Modello di IA per Agenti GUI Mobili
Un nuovo modello di IA chiamato AppDeltaWorld è stato sviluppato dai ricercatori per migliorare gli agenti GUI mobili prevedendo le transizioni nella GUI come aggiornamenti di codice invece di fare affidamento su immagini o testo. Questo modello affronta le difficoltà associate alla raccolta di dati di interazione nel mondo reale per applicazioni sensibili e attività che richiedono privacy, nonché il costo elevato degli ambienti simulati. AppDeltaWorld estrae riferimenti HTML di Livello-1 specifici per l'app basati su vincoli di transizione-azione, crea HTML eseguibile di Livello-2 basato sulla schermata corrente, sull'azione, sul testo previsto della schermata successiva e sulla struttura recuperata, e integra il codice generato per formare lo stato GUI successivo. Questa metodologia mira a migliorare la stabilità, la copertura delle modalità e la coerenza nelle transizioni-azione all'interno dei modelli mondo GUI. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.05891.
Fatti principali
- AppDeltaWorld è un modello mondo di codice delta basato sulle transizioni per agenti GUI mobili.
- Prevede la GUI successiva come un aggiornamento di codice invece di un'immagine o testo.
- Recupera riferimenti HTML di Livello-1 specifici per l'app sotto un vincolo di transizione-azione.
- Genera HTML eseguibile di Livello-2 condizionato dalla schermata corrente, dall'azione, dal testo previsto della schermata successiva e dalla struttura recuperata.
- Il modello affronta le limitazioni dei modelli mondo GUI esistenti: generazione instabile, copertura limitata delle modalità e logica di transizione-azione incoerente.
- Le traiettorie reali per app sensibili sono difficili da ottenere.
- Gli ambienti simulati sono costosi da scalare.
- L'articolo è disponibile su arXiv con ID 2608.05891.
Entità
Istituzioni
- arXiv