Nuovo Benchmark TRACE per il Coordinamento Uomo-AI sotto Deriva e Guasti

TRACE è stato sviluppato da ricercatori come benchmark multi-livello per valutare la collaborazione tra operatori umani, moduli decisionali AI e sistemi di controllo automatizzati in ambienti cyber-fisici e potenziati dall'AI. Questo benchmark affronta il problema della diagnosi della deriva—variazioni che possono derivare da qualsiasi livello dello stack di sistema—offrendo tracce multi-livello sincronizzate nel tempo che illustrano la propagazione di derive e guasti. Il dataset, composto da 1.918 tracce con deriva, proviene da ALFRED, un benchmark focalizzato su istruzioni contestualizzate per attività domestiche comuni. Ogni traccia consiste in una serie di record allineati temporalmente su cinque livelli di esecuzione: stato, osservazione, decisione, regole e controllo, annotati con il tipo di deriva e il tempo di insorgenza. Questa ricerca mira a colmare una lacuna nei benchmark attuali, che spesso mancano dei dettagli necessari per individuare i guasti di coordinamento. L'articolo è disponibile su arXiv con l'identificatore 2608.06657.