Il benchmark Dr-CiK testa gli agenti AI sulle previsioni nel mondo reale

I ricercatori hanno introdotto Dr-CiK, un nuovo benchmark progettato per valutare se gli agenti AI possono recuperare e utilizzare autonomamente il contesto di supporto per le previsioni di serie temporali. A differenza dei benchmark esistenti che presuppongono che il contesto sia già fornito, Dr-CiK richiede agli agenti di cercare in un corpus di documenti, filtrare le informazioni irrilevanti, distillare prove utili e generare previsioni. I test che combinano metodi all'avanguardia di ricerca approfondita e previsione mostrano che un contesto di alta qualità migliora significativamente le prestazioni, ma la maggior parte degli agenti recupera solo una piccola frazione del contesto reale. Il benchmark mira a colmare il divario tra compiti di previsione controllati e scenari del mondo reale in cui il contesto deve essere attivamente scoperto da fonti eterogenee e rumorose.