AutoRISE: Evoluzione della Strategia Guidata da Agenti per il Red-Teaming di LLM

AutoRISE introduce un approccio innovativo per il red-teaming automatizzato di modelli linguistici estesi, concentrandosi sull'ottimizzazione delle strategie di attacco anziché dei singoli prompt. Impiega un agente di codifica che modifica progressivamente programmi di attacco eseguibili, guidato da un obiettivo scalare e da diagnostiche specifiche per esempio provenienti da un sistema di valutazione. Ciò consente modifiche strutturali, come l'aggiunta di nuovi elementi di attacco e cambiamenti nel flusso di controllo, che vanno oltre le capacità delle tecniche a livello di prompt. Il metodo è stato testato su 11 modelli appartenenti a cinque famiglie, utilizzando sette dataset di jailbreak e due nuove suite di benchmark. AutoRISE ha ottenuto un aumento di 17,0 punti nel tasso medio di successo degli attacchi rispetto al baseline più forte su modelli non visti.