OMIBench: Nuovo benchmark testa il ragionamento multi-immagine a livello olimpico nei LVLM

I ricercatori hanno introdotto OMIBench, un benchmark progettato per valutare i grandi modelli visione-linguaggio (LVLM) su compiti di ragionamento a livello olimpico che richiedono l'integrazione di informazioni provenienti da più immagini. Il benchmark include problemi tratti da olimpiadi di biologia, chimica, matematica e fisica, accompagnati da spiegazioni annotate manualmente e protocolli di valutazione per il confronto esatto e semantico delle risposte. Gli esperimenti rivelano significative differenze di prestazione tra i modelli attuali, con il LVLM più forte, Gemini-3-Pro, che raggiunge solo circa il 50% di accuratezza. OMIBench mira a colmare la limitazione dei benchmark multimodali a livello olimpico esistenti, che si concentrano sull'analisi di singole immagini, fornendo una risorsa per studiare e migliorare il ragionamento multi-immagine nei LVLM.