Vibe Code Bench: Nuovo Benchmark Testa l'IA nello Sviluppo Completo di App Web

Vibe Code Bench è stato lanciato dai ricercatori come un nuovo benchmark volto a valutare i modelli di IA nel campo dello sviluppo di applicazioni web end-to-end. A differenza dei benchmark tradizionali che si concentrano su specifici compiti di codifica, questo valuta l'intero processo di creazione di un'applicazione funzionale da zero. Include 100 specifiche per applicazioni web (50 per validazione pubblica e 50 per test riservati), con 964 flussi di lavoro che comprendono 10.131 sottopassi. Un agente browser autonomo conduce valutazioni su applicazioni distribuite. Tra 16 modelli avanzati, la massima accuratezza raggiunta sul set di test è del 61,8%, evidenziando le sfide ancora presenti nello sviluppo affidabile di applicazioni end-to-end. Lo studio rileva che l'auto-test durante la generazione è un predittore significativo delle prestazioni (Pearson r=0,72). Inoltre, uno studio di allineamento umano rivela che la scelta dei valutatori influenza significativamente i risultati, con un accordo a livello di passo che varia dal 31,8% al 93,6%. Questo dataset di benchmark e il suo approccio di valutazione rappresentano progressi significativi nella ricerca sulla generazione di codice IA.