DeepRed Valuta gli Agenti LLM nelle Sfide Capture The Flag di Cybersecurity

Un nuovo benchmark open-source chiamato DeepRed è stato sviluppato per valutare le capacità degli agenti Large Language Model in scenari realistici di cybersecurity. Questo framework di valutazione colloca gli agenti basati su LLM in ambienti virtualizzati isolati che eseguono strumenti di attacco Kali Linux, collegandoli a sfide target attraverso reti private. Per fornire una valutazione più sfumata rispetto alle semplici metriche risolto/non risolto, i ricercatori hanno introdotto un sistema di punteggio a credito parziale basato su checkpoint specifici per ciascuna sfia derivati da resoconti pubblici. Il benchmark include una pipeline automatizzata di etichettatura summarise-then-judge che analizza i log di esecuzione per determinare il completamento dei checkpoint. Dieci LLM commercialmente accessibili sono stati testati utilizzando DeepRed su dieci sfide Capture The Flag basate su VM che coprono molteplici categorie. La ricerca affronta il crescente interesse nelle applicazioni autonome di cybersecurity, riconoscendo che la comprensione attuale delle capacità degli agenti LLM in contesti offensivi rimane limitata. Tracciati completi di esecuzione vengono registrati durante i test per analisi dettagliate. Il benchmark consente capacità opzionali di ricerca web insieme agli strumenti terminale. Lo studio è stato annunciato come arXiv:2604.19354v1, rappresentando nuova ricerca nel campo dell'IA e della cybersecurity.