VF-Coder: Il Feedback Visivo Migliora la Generazione di Codice GUI

I ricercatori hanno introdotto VF-Coder, un sistema multi-agente che utilizza il feedback visivo per migliorare la generazione e il debug di codice GUI. Gli attuali agenti basati su LLM si affidano a feedback testuali, che falliscono per programmi GUI event-driven con attributi visivi. Per affrontare questo problema, il team ha creato InteractGUI Bench, un benchmark di 984 attività GUI desktop reali per valutare la logica di interazione e la struttura visiva. VF-Coder elabora informazioni visive per simulare interazioni utente e valutare interfacce renderizzate, superando i limiti degli approcci solo testuali. Il sistema mira a colmare il divario nello sviluppo automatizzato di GUI, dove i metodi esistenti non possono attivare la logica degli elementi GUI o verificare la conformità visiva alle esigenze dell'utente. Il lavoro è dettagliato in arXiv:2604.19750.