Desktop-Delta Bench: testare la comprensione delle transizioni GUI da parte dell'IA

Un nuovo benchmark chiamato Desktop-Delta Bench (DDB) è stato sviluppato dai ricercatori per valutare la capacità degli agenti di utilizzo del computer (CUA) di identificare transizioni causali e rilevanti per il compito in ambienti GUI desktop. A differenza dei benchmark esistenti che si concentrano sul successo finale del compito o sul grounding a singolo fotogramma, DDB isola specificamente la capacità di un modello di riconoscere cambiamenti significativi derivanti dalle azioni, un aspetto essenziale per scartare osservazioni obsolete, confermare progressi e riprendersi da battute d'arresto. DDB comprende 2.013 istanze verificate da umani provenienti da percorsi Linux unici multi-applicazione, coprendo circa 15 applicazioni e 50 domini di compiti. Si concentra su tre aspetti di fallimento: verifica dello stato, tracciamento della fonte e controllo sensibile al contesto, affrontando le sfide nei sistemi asincroni dove vari processi potrebbero non essere sincronizzati, causando un'errata interpretazione delle osservazioni.