ReXSonoVQA: Benchmarking dei VLM nella Comprensione di Video Ecografici

I ricercatori hanno lanciato un nuovo benchmark chiamato ReXSonoVQA volto a valutare i modelli visione-linguaggio (VLM) nelle applicazioni ecografiche. Questo set di dati è composto da 514 clip video, con relative domande: 249 in formato a scelta multipla e 265 come domande aperte. Il benchmark si concentra su tre aspetti significativi: comprensione degli obiettivi delle azioni, risoluzione degli artefatti e pianificazione contestuale delle procedure. Le valutazioni condotte su vari modelli, tra cui Gemini 3 Pro, Qwen 3.5-397B, LLaVA-Video-72B e Seed 2.0 Pro, hanno evidenziato che, sebbene questi modelli abbiano acquisito una certa comprensione procedurale, hanno incontrato difficoltà negli scenari di risoluzione dei problemi, mostrando miglioramenti minimi rispetto alle valutazioni tradizionali basate su testo.