Quadro teorico dei giochi per la robustezza dei jailbreak nei LLM

Una recente pubblicazione su arXiv presenta un modello basato sulla teoria dei giochi progettato per chiarire le dinamiche tra un valutatore che esamina un grande modello linguistico per individuare vulnerabilità e un addestratore che ne migliora la resilienza. Questo metodo impiega azioni di gruppo, un concetto matematico che illustra simmetrie e trasformazioni, per rappresentare l'aumento dei dati. Lo scenario non banale più semplice prevede un cerchio con gruppi di traslazione ciclici, evidenziando regimi diversi in base alla capacità di generalizzazione dell'addestratore. Quando la soglia è al di sotto di un punto critico, il valutatore mostra un tasso di errore costante per un numero lineare di round, mentre altre configurazioni producono risultati marcatamente diversi. Questa ricerca approfondisce gli aspetti teorici spesso trascurati dell'ottimizzazione della robustezza mentre emergono nuovi jailbreak.