Benchmark NazoNazo: Gli indovinelli giapponesi mettono in luce i limiti del ragionamento e dell'autovalutazione dell'IA

Un nuovo benchmark, il NazoNazo Benchmark, derivato dagli indovinelli per bambini giapponesi, rivela limiti fondamentali nei grandi modelli linguistici (LLM) riguardo alla ristrutturazione rappresentazionale di tipo insight e alla valutazione metacognitiva. Il benchmark, introdotto in un articolo su arXiv (2509.14704), affronta la saturazione dei benchmark e la contaminazione dei dati di addestramento che oscurano i reali progressi nel ragionamento. È composto da 201 indovinelli selezionati, con un riferimento umano stabilito su un sottoinsieme di 120 elementi (n=126, accuratezza media 52,9%). Il benchmark è aperto, a basso costo da aggiornare e progettato per una valutazione continua con un rischio di contaminazione ridotto. Lo studio ha valutato 38 LLM all'avanguardia dal 2023 al 2025 con un protocollo rigoroso senza recupero e zero-shot. I risultati indicano che questi modelli hanno difficoltà con compiti che richiedono insight e autovalutazione, evidenziando un collo di bottiglia metacognitivo. Il benchmark offre un test mirato delle modalità di fallimento non facilmente rilevabili nei benchmark standard, fornendo una risorsa rinnovabile per valutare le capacità di ragionamento dell'IA.