Benchmark DIQ-H testa la robustezza dei VLM in condizioni visive avversarie

Il benchmark DIQ-H (Degraded Image Quality Leading to Hallucinations) è stato lanciato per valutare i modelli visione-linguaggio (VLM) in ambienti visivi difficili su sequenze continue. Riproduce sfide reali, tra cui sfocatura da movimento, rumore del sensore e artefatti di compressione, per valutare come queste distorsioni portino a imprecisioni persistenti e output disallineati nel tempo. Modellando esplicitamente la propagazione degli errori, questo benchmark colma le lacune lasciate dai benchmark attuali che si concentrano su input statici o curati, trascurando problemi come il disallineamento dei valori e le incoerenze nel ragionamento cumulativo. Questa iniziativa è essenziale per lo sviluppo dell'IA incarnata e per applicazioni in settori critici per la sicurezza come la robotica e i sistemi autonomi.