MobileForge: Nuovo Benchmark per la Generazione di App Mobili Multi-Schermo
MobileForge è stato lanciato come benchmark inaugurale mirato allo sviluppo di app mobili multi-schermo a livello di progetto. Questo nuovo benchmark supera le carenze degli attuali benchmark design-to-code, che si concentrano principalmente su output a pagina singola e non valutano la navigazione tra pagine o la manutenibilità complessiva del progetto. MobileForge include applicazioni mobili reali, schermate revisionate da esseri umani, annotazioni strutturate per le relazioni tra pagine e specifiche per il test di navigazione. Presenta una valutazione completa su cinque assi che valuta la qualità di build, la navigazione, l'accuratezza visiva, la manutenibilità del codice e l'efficienza. Inoltre, il benchmark introduce il test di navigazione a stato isolato per evitare fallimenti di navigazione a cascata e un metodo di riferimento ancorato per la fedeltà visiva. I risultati sono documentati in un articolo disponibile su arXiv (arXiv:2607.28645).
Fatti principali
- MobileForge è il primo benchmark per la generazione di app mobili multi-schermo a livello di progetto.
- Include app mobili reali, schermate revisionate da esseri umani, annotazioni strutturate per le relazioni tra pagine e specifiche per il test di navigazione.
- Il benchmark valuta cinque assi: build, navigazione, fedeltà visiva, manutenibilità del codice ed efficienza.
- Introduce il test di navigazione a stato isolato per evitare fallimenti a cascata.
- Propone un metodo di riferimento ancorato per la valutazione della fedeltà visiva.
- L'articolo è disponibile su arXiv con identificativo 2607.28645.
- I benchmark esistenti sono limitati alla generazione di pagine singole e non possono valutare la navigazione tra pagine.
- La ricerca mira a migliorare la conversione di progetti visivi in codice eseguibile per prodotti mobili.
Entità
Istituzioni
- arXiv