I Prompt Auto-Estratti Difficili Riducono il Successo del Jailbreak ma Aumentano i Tassi di Rifiuto

Una nuova tecnica di safety fine-tuning per modelli linguistici è stata introdotta dai ricercatori. Questo metodo valuta i potenziali prompt in base alla frequenza di giudizi dannosi provenienti dai rollout del modello target stesso e si adatta utilizzando i prompt più impegnativi insieme a rollout non jailbroken. Applicato a Llama-3-8B-Instruct e Llama-3.2-3B-Instruct, riduce il tasso di successo degli attacchi WildJailbreak dall'11,5% e 20,1% a tra l'1% e il 3%. Tuttavia, aumenta il tasso di rifiuto per prompt benigni che assomigliano a jailbreak dal 14-22% al 74-94%. Mescolando prompt difficili con quelli benigni avversari in un rapporto 1:1, i tassi di rifiuto scendono al 30-51% per 8B e al 52-72% per 3B, con una leggera riduzione dell'ASR del 2-6 punti percentuali. L'addestramento sulla metà più difficile dei prompt idonei all'interno di questo approccio misto riduce ulteriormente l'ASR del 35-50%, circa 3 punti percentuali. Questo metodo è descritto in un articolo disponibile su arXiv (2605.03226).