Framework di Auto-Evoluzione al Test-Time Migliora il Grounding Visivo delle GUI

Un nuovo articolo di ricerca su arXiv (ID: 2608.11191) introduce un framework di Auto-Evoluzione al Test-Time per il Grounding Visivo delle GUI, una capacità fondamentale per gli agenti GUI. Il framework consente ai modelli di migliorare dopo la distribuzione senza verità di base annotate dall'uomo, affrontando il limite dei modelli esistenti che congelano i parametri dopo la distribuzione e non possono adattarsi a interfacce mai viste. Il metodo proposto costruisce un ciclo chiuso di Esplorazione, Valutazione, Riflessione e Interiorizzazione. Durante l'esplorazione, l'agente predice le coordinate di grounding per le istruzioni fornite su interfacce mai viste. Un Riflettore basato su MLLM valuta queste previsioni e fornisce riflessioni ragionate. Per interiorizzare questa conoscenza riflessiva nei pesi del modello, l'articolo propone l'Autodistillazione On-Policy Guidata dalla Riflessione. L'approccio supera l'incapacità dei recenti metodi di apprendimento per rinforzo al test-time di riflettere sull'esplorazione fallita. L'articolo è classificato come annuncio di tipo incrociato ed è disponibile su arXiv.