iWorld-Bench: Nuovo Benchmark per Modelli del Mondo Interattivi

Un nuovo benchmark chiamato iWorld-Bench è stato lanciato da ricercatori per facilitare l'addestramento e la valutazione dei modelli del mondo, concentrandosi su abilità legate all'interazione, tra cui la percezione della distanza e la memoria. Questo benchmark presenta un dataset vario composto da 330.000 videoclip, dai quali sono stati accuratamente selezionati 2.100 campioni di alta qualità, rappresentanti diverse scene, condizioni meteorologiche e punti di vista. Per standardizzare le valutazioni attraverso varie modalità di interazione, è stato creato un Action Generation Framework, che ha prodotto 4.900 campioni di test in sei diverse tipologie di compiti che valutano collettivamente la generazione visiva, il seguimento di traiettorie e la memoria. Questa iniziativa mira a colmare il divario nei dataset su larga scala e nei benchmark standardizzati per valutare le abilità di interazione fisica nella ricerca sull'intelligenza artificiale generale.