HyperTrack e GUIEvalKit: Scaling e Benchmarking di VLM per la Navigazione GUI Mobile

Un recente articolo di ricerca su arXiv (2605.27134) indaga approfonditamente lo scaling dei dati, il benchmarking e il ragionamento nei Vision-Language Models (VLM) per la navigazione GUI mobile. Il team introduce HyperTrack, un ampio dataset con oltre 16.000 compiti reali provenienti da più di 650 applicazioni mobili cinesi. Inoltre, presentano GUIEvalKit, un toolkit open-source progettato per il benchmarking standardizzato dei VLM in scenari di navigazione GUI offline. L'analisi condotta con HyperTrack rivela che il fine-tuning basato su rinforzo supera costantemente il fine-tuning supervisionato, in particolare in contesti fuori dominio, sottolineando la relazione benefica tra scaling dei dati e apprendimento per rinforzo. Attraverso GUIEvalKit, i ricercatori valutano i principali VLM ed esplorano l'influenza della cronologia delle interazioni e delle capacità di ragionamento sulle loro prestazioni.