EntityBench: Benchmark per la generazione video multi-inquadratura coerente

EntityBench è stato lanciato da ricercatori come benchmark volto a valutare i sistemi di generazione video multi-inquadratura per quanto riguarda la loro capacità di mantenere personaggi, oggetti e ambientazioni coerenti su sequenze estese. Questo benchmark presenta 140 episodi, composti da 2.491 inquadrature tratte da media narrativi reali, con dettagliati programmi entità per inquadratura categorizzati in livelli facile, medio e difficile. Ogni episodio può includere fino a 50 inquadrature, 13 personaggi, 8 luoghi e 22 oggetti, con intervalli fino a 48 inquadrature per la ricomparsa. Ad accompagnare EntityBench c'è una suite di valutazione completa che analizza la qualità intra-inquadratura, l'allineamento con i prompt e la coerenza tra le inquadrature, inclusa una soglia di fedeltà per la rappresentazione precisa delle entità. Questa iniziativa affronta il problema dei confronti standardizzati nella generazione video multi-inquadratura, dove le valutazioni attuali spesso si basano su una copertura limitata delle entità e metriche di coerenza di base.