DiagChain: Nuovo Benchmark per la Valutazione degli Agenti LLM nella Ricostruzione di Catene di Attacco

È stato lanciato un nuovo standard diagnostico noto come DiagChain per valutare gli agenti dei modelli linguistici di grandi dimensioni (LLM) nella ricostruzione di catene di attacco basate su prove. Questo benchmark, descritto in un articolo disponibile su arXiv (2608.03591), colma una lacuna nelle attuali tecniche di valutazione, che si concentrano principalmente sui risultati finali o sull'accuratezza complessiva, offrendo una comprensione limitata delle origini degli errori e della loro progressione attraverso le fasi intermedie di ragionamento. DiagChain facilita una valutazione fase per fase degli agenti LLM, consentendo un'analisi dettagliata delle prestazioni. Presenta MAIN-69, una raccolta di 69 scenari che coprono vari sistemi operativi, livelli di rumore nelle prove e lunghezze delle catene. Inoltre, il benchmark introduce la generazione aumentata da recupero incentrata sulle prove (ECRAG), integrando il recupero delle prove con una rappresentazione strutturata dinamica della catena ricostruita e introducendo cinque metriche per valutare diverse fasi di ricostruzione, aiutando nell'analisi sistematica dei guasti. Questa ricerca è significativa per l'IA e la tecnologia, specialmente nella cybersecurity e nelle applicazioni LLM.