GUI-Lens: Ritaglio dal Generale al Dettaglio per il Grounding GUI con VLM Generici

Il nuovo framework, GUI-Lens, mira a migliorare il grounding GUI, che consiste nell'allineare comandi in linguaggio naturale con specifici punti di clic su uno schermo, un aspetto cruciale per agenti GUI efficaci. Questo problema è particolarmente significativo in interfacce ad alta risoluzione e disordinate, dove un modello visione-linguaggio (VLM) potrebbe identificare un controllo desiderato ma avere difficoltà nella localizzazione precisa per l'interazione. Le tecniche attuali offrono vari ausili alla localizzazione ma tipicamente dipendono da previsioni dirette del clic, rischiando di propagare ambiguità visive o stime iniziali imprecise. GUI-Lens impiega un metodo di grounding dal generale al dettaglio, consentendo a un VLM generico di identificare i target attraverso osservazioni visive attive. Estrae testo OCR e posizioni dei componenti UI dagli screenshot come riferimenti di coordinate. Utilizzando l'istruzione, la vista corrente e questi riferimenti, il VLM affina iterativamente la sua comprensione per identificare con precisione la posizione del clic. Questo approccio innovativo, descritto in un articolo su arXiv (arXiv:2608.03270), promette di migliorare l'accuratezza degli agenti GUI, con implicazioni per il test automatico del software, l'accessibilità e gli assistenti digitali.