OSCBench Introduce un Nuovo Benchmark per il Cambiamento di Stato degli Oggetti nei Modelli AI Testo-Video

Un nuovo benchmark denominato OSCBench è stato creato per valutare i cambiamenti di stato degli oggetti nei modelli di generazione testo-video, colmando una lacuna significativa nelle valutazioni attuali. I cambiamenti di stato degli oggetti includono azioni come sbucciare una patata o tagliare un limone, che sono chiaramente articolate nei prompt testuali. Questo benchmark utilizza dati di cucina istruzionali, classificando le interazioni azione-oggetto in scenari regolari, nuovi e compositivi per valutare sia le prestazioni in-distribuzione che la generalizzazione. Sono stati condotti studi con utenti umani su sei modelli T2V rappresentativi open-source e proprietari. I benchmark precedenti si sono concentrati principalmente sulla qualità percettiva, l'allineamento testo-video o la plausibilità fisica, trascurando la comprensione delle azioni. Il documento che descrive OSCBench è disponibile su arXiv con l'identificatore arXiv:2603.11698v2, classificato come replace-cross.