Il Benchmark ARC-AGI-3 Sfida l'IA con Compiti Interattivi Astratti

Il benchmark ARC-AGI-3, recentemente lanciato, mira a valutare l'intelligenza agentica nei sistemi di IA avanzati. A differenza delle versioni precedenti, ARC-AGI-1 e 2, questo benchmark enfatizza l'efficienza adattativa fluida attraverso scenari innovativi, astratti e a turni. Gli agenti devono esplorare, dedurre gli obiettivi, formulare modelli interni delle dinamiche ambientali e ideare piani d'azione efficaci senza alcuna guida esplicita, evitando il linguaggio e le conoscenze esterne. Utilizzando i priori della Conoscenza di Base, gli ambienti sono calibrati per difficoltà attraverso test approfonditi con partecipanti umani. A marzo 2026, i risultati indicano che gli esseri umani possono risolvere tutti gli ambienti, mentre i sistemi di IA all'avanguardia raggiungono meno dell'1%. Il documento allegato delinea la progettazione del benchmark, un sistema di punteggio incentrato sull'efficienza basato sulle azioni umane e le procedure per costruire, convalidare e calibrare questi ambienti, con l'obiettivo di migliorare l'esplorazione dell'intelligenza agentica presentando una prova impegnativa e calibrata sull'uomo che sottolinea i limiti dell'IA attuale nella risoluzione adattativa dei problemi.