TRAPSBench: i VLM percepiscono la rispondibilità ma non si astengono

Una recente indagine pubblicata su arXiv (paper 2608.13167) indica che i modelli visione-linguaggio (VLM) possono riconoscere quando non hanno abbastanza prove visive per rispondere a una domanda, ma non comunicano questa incertezza scegliendo di astenersi. Lo studio introduce TRAPSBench, un benchmark video con 1.404 coppie fisiche, dove una specifica alterazione rende l'esito impossibile da determinare visivamente. Inoltre, i ricercatori presentano una nuova metrica chiamata Penalized Epistemic Calibration Score (PECS), che incentiva i modelli per le risposte corrette quando gli esiti sono chiari e per l'astensione quando non lo sono. Tra 16 VLM di cinque famiglie, la capacità di auto-limitarsi è inadeguata, con il punteggio PECS più alto pari a 0,292. La sfida sembra risiedere nell'espressione piuttosto che nella percezione, poiché le sonde lineari possono decodificare efficacemente la rispondibilità dagli stati nascosti con un AUROC fino a 0,91 nei domini fisici. I risultati sono coerenti in vari campi, indicando che mentre i VLM catturano gli stati epistemici, mancano della capacità di agire su di essi. Questa ricerca è significativa per l'applicazione sicura dell'IA in scenari critici dove risposte errate potrebbero portare a gravi ripercussioni.