Co-Evoluzione di Proposer e Critico Visivo tramite Apprendimento per Rinforzo per il GUI Grounding
Un nuovo framework di apprendimento per rinforzo, Propose-then-Critic, co-evolve un proposer e un critico visivo per migliorare il GUI grounding—la mappatura di istruzioni in linguaggio naturale a coordinate pixel precise. L'approccio affronta la sfida di elementi visivamente omogenei e layout densi sostituendo le strategie di auto-consistenza statiche con un meccanismo di selezione apprendibile che critica le proposte renderizzate su screenshot. L'apprendimento per rinforzo co-evolutivo adattivo sensibile alla maturità ottimizza congiuntamente entrambi i componenti, superando la disparità tra capacità di grounding e critica. L'articolo è disponibile su arXiv con riferimento 2604.21268.
Fatti principali
- L'articolo arXiv 2604.21268 propone il framework Propose-then-Critic per il GUI grounding.
- Il framework co-evolve un proposer e un critico visivo tramite apprendimento per rinforzo.
- Sostituisce le strategie di auto-consistenza statiche con un meccanismo di selezione apprendibile.
- Affronta elementi visivamente omogenei e layout densi nel GUI grounding.
- Utilizza l'apprendimento per rinforzo co-evolutivo adattivo sensibile alla maturità.
- Critica le proposte renderizzate su screenshot per selezionare il target ottimale.
- Supera la disparità tra capacità di grounding e critica.
- Pubblicato su arXiv con tipo di annuncio cross.
Entità
Istituzioni
- arXiv