Studio rivela quando le abilità degli agenti AI falliscono nella cybersecurity

Uno studio recente pubblicato su arXiv (2605.20023) mette in dubbio la convinzione che l'incorporazione di conoscenze procedurali, note come Skills, negli agenti LLM ne migliori sempre le prestazioni. Sebbene le Skills aumentino i tassi di successo dei compiti in media di 16,2 punti percentuali in vari domini, 16 su 84 compiti hanno registrato cali. I ricercatori hanno rivisitato un esperimento controllato che coinvolgeva 180 esecuzioni di un agente autonomo Capture-the-Flag basato su MCP, esaminando quattro condizioni di documentazione (55, 1.478, 1.976 e 4.147 righe), che rappresentavano variazioni No-Skills, Experiential-Skills, Curated-Skills e Comprehensive-Skills. Nel campo della cybersecurity offensiva, dove i benchmark sono limitati, i vantaggi delle Skills diminuiscono. La comunità non ha ancora definito un quadro chiaro per comprendere quando le Skills sono utili rispetto a quando aggiungono complessità inutile.