SceneActBench testa agenti VLM su azioni in scene 3D

SceneActBench è stato introdotto da ricercatori come benchmark volto a valutare le azioni di agenti basati su modelli visione-linguaggio (VLM) in ambienti 3D completi con più oggetti, anziché limitarsi a descrivere o gestire singoli oggetti. Questo benchmark presenta cinque compiti 3D unici derivati da 210 istanze sorgente, generando 520 casi di compito con corrispondenti condizioni di input. Ogni compito opera all'interno di un ciclo agente-ambiente coeso, dove gli agenti ricevono immagini PNG o fotogrammi video campionati e, quando pertinente, risorse 3D, per interagire con l'ambiente 3D. I risultati finali vengono misurati rispetto a verità di base nascoste utilizzando metriche geometriche specifiche. I punteggi ottenuti da undici configurazioni VLM proprietarie variano da 38,6 a 50,2, con nessuna configurazione che eccelle in tutti i compiti. Questa ricerca evidenzia carenze nelle tecniche di valutazione esistenti e offre un quadro per una valutazione più approfondita delle capacità degli agenti in spazi 3D. Lo studio è disponibile su arXiv con l'identificatore 2607.22393.