Flat-Pack Bench: Un Nuovo Benchmark per Testare gli LVLM sul Montaggio di Mobili

I ricercatori hanno introdotto Flat-Pack Bench, un benchmark progettato per valutare i Large Vision-Language Models (LVLM) nella comprensione spazio-temporale fine attraverso compiti di montaggio di mobili. I benchmark esistenti per la comprensione video si concentrano su compiti a grana grossa come segmentazione delle azioni, classificazione, didascalia e recupero, spesso basandosi su entità facilmente identificabili come oggetti domestici, animali e soggetti umani. Ciò limita la loro applicabilità a scenari video complessi e reali. Flat-Pack Bench colma questa lacuna richiedendo una comprensione passo-passo delle azioni di montaggio, inclusi l'ordinamento temporale, la localizzazione temporale degli stati di montaggio e l'abbinamento delle parti. Il benchmark mira a spingere gli LVLM verso una comprensione video più sfumata, necessaria per applicazioni come il montaggio di mobili e la cucina.