Valutazioni Open-World: Un Nuovo Approccio per Misurare l'IA di Frontiera

Un recente studio pubblicato su arXiv suggerisce che le valutazioni open-world dovrebbero essere utilizzate insieme ai tradizionali benchmark per valutare le capacità avanzate dell'IA. I ricercatori sostengono che i benchmark tradizionali possono travisare le prestazioni reali, poiché tendono a privilegiare compiti facilmente definibili, valutati automaticamente, semplici da ottimizzare ed economici. Al contrario, le valutazioni open-world si concentrano su compiti complessi del mondo reale, valutati attraverso analisi qualitative con campioni limitati. L'articolo esamina casi recenti, evidenziandone vantaggi e svantaggi, e introduce CRUX (Collaborative Research for Updating AI eXpectations), un progetto volto a condurre regolarmente queste valutazioni. In un test iniziale, un agente IA ha creato e pubblicato con successo una semplice app iOS sull'Apple App Store, richiedendo un solo intervento manuale non necessario.