I LLM Omnimodali Falliscono nel Riconoscere le Contraddizioni Percettive

Un nuovo studio pubblicato su arXiv introduce IMAVB, un benchmark di 500 clip cinematografiche di lunga durata progettato per testare se i grandi modelli linguistici omnimodali possono rilevare conflitti tra premesse testuali e il proprio input sensoriale. La ricerca rivela un 'Gap di Rappresentazione-Azione': modelli come Gemini 3.1 Pro e otto sistemi open-source codificano discrepanze tra premessa e percezione nei loro stati nascosti, ma quasi mai rifiutano affermazioni false nei loro output. Il benchmark utilizza un design 2x2 incrociando la modalità target (visiva, audio) con la condizione della premessa (standard, fuorviante). I risultati suggeriscono che gli attuali LLM omnimodali falliscono in una forma basilare di grounding, sollevando domande sulla loro affidabilità come agenti basati sulla percezione.