Attacco DPO Benigno a Few-Shot Jailbreak dei LLM

Una nuova tecnica di attacco sfrutta l'ottimizzazione diretta delle preferenze (DPO) per jailbreak dei grandi modelli linguistici (LLM) utilizzando solo 10 coppie di preferenze innocue, la scala di dati più piccola consentita dal servizio di fine-tuning di OpenAI. I ricercatori rivelano che DPO crea una modalità di fallimento più robusta e meno verificabile rispetto al fine-tuning supervisionato (SFT). Il metodo utilizza prompt innocui, designando una risposta tipicamente utile come preferita e un rifiuto come non preferita, rendendo i dati indistinguibili da richieste autentiche per minimizzare il rifiuto eccessivo. Questo attacco genuinamente innocuo presenta notevoli problemi di sicurezza per le pipeline di fine-tuning che si basano su obiettivi basati sulle preferenze.