Nuovo benchmark AI GIM testa l'integrazione cognitiva multi-dominio

I ricercatori hanno introdotto il Grounded Integration Measure (GIM), un benchmark di 820 problemi originali progettato per valutare i modelli AI su compiti che richiedono coordinamento tra più domini cognitivi. A differenza dei benchmark esistenti che aumentano le richieste di conoscenza (GPQA, HLE) o eliminano completamente la conoscenza per il ragionamento astratto (ARC-AGI), GIM si concentra sull'integrazione di soddisfazione dei vincoli, tracciamento dello stato, vigilanza epistemica e calibrazione del pubblico su conoscenze ampiamente accessibili. Il benchmark comprende 615 problemi pubblici e 205 privati, ciascuno scritto da esperti e valutato utilizzando una rubrica con una mediana di sei criteri giudicati indipendentemente. L'approccio mira a evitare di confondere la memorizzazione con la capacità o di separare il ragionamento dai contesti pratici. L'articolo è disponibile su arXiv con identificatore 2605.18663.