ExploitGym: un benchmark per testare la capacità degli agenti AI di trasformare vulnerabilità in attacchi
ExploitGym, un benchmark di nuova creazione, valuta la capacità degli agenti AI di convertire vulnerabilità software in attacchi reali, come l'accesso non autorizzato a file o l'esecuzione di codice. Questo compito richiede ragionamento di basso livello sui programmi, adattabilità durante l'esecuzione e la capacità di mantenere progressi per periodi prolungati. Lo sfruttamento delle vulnerabilità ha un duplice scopo: aiuta le misure difensive ma semplifica anche le tattiche offensive. Nonostante la sua importanza, l'area dello sfruttamento è spesso trascurata nelle valutazioni. ExploitGym mira a colmare questa lacuna offrendo un benchmark completo, vario e realistico. Agli agenti viene chiesto di prendere un input di programma che espone una vulnerabilità e trasformarlo gradualmente in un exploit funzionante. I risultati sono disponibili su arXiv.
Fatti principali
- ExploitGym è un benchmark per le capacità di sfruttamento degli agenti AI.
- Lo sfruttamento trasforma una vulnerabilità in un impatto concreto sulla sicurezza.
- Il compito richiede ragionamento di basso livello sui programmi e adattamento in fase di esecuzione.
- Lo sfruttamento ha un duplice uso: difensivo e offensivo.
- Il benchmark è su larga scala, diversificato e realistico.
- Agli agenti viene chiesto di estendere un trigger di vulnerabilità in un exploit funzionante.
- La ricerca è pubblicata su arXiv.
- Lo sfruttamento rimane sottovalutato nonostante la sua importanza.
Entità
Istituzioni
- arXiv