ScreenSearch: Sistema AI per l'Esplorazione di Interfacce Desktop

I ricercatori hanno creato un nuovo strumento chiamato ScreenSearch, volto a migliorare il modo in cui esploriamo le interfacce dei sistemi operativi tenendo conto dell'incertezza. Gli agenti GUI desktop operano in condizioni di visibilità parziale, il che significa che schermate dall'aspetto simile potrebbero in realtà indicare diversi stati del flusso di lavoro, portando a risultati differenti. ScreenSearch combina un metodo per recuperare e deduplicare le schermate con un algoritmo intelligente che aiuta a esplorare i desktop in modo più efficace. Converte gli alberi UIA in caratteristiche specifiche, indicizza le schermate utilizzando ricerche sparse di token e mantiene un grafo di stato condiviso tra i lavoratori delle macchine virtuali. Un segnale di incertezza, basato sulla varietà dei risultati, aiuta il sistema a decidere quando approfondire o attenersi a ciò che già conosce. Questo studio è stato condiviso su arXiv con l'identificatore 2605.16024.