Comportamento di Rifiuto degli LLM Rilevabile nelle Attivazioni Intermedie

Un recente articolo su arXiv (2605.28553) rivela che è possibile anticipare il comportamento di rifiuto nei modelli linguistici di grandi dimensioni analizzando le attivazioni intermedie prima della decodifica. I ricercatori hanno utilizzato sonde lineari sulle attivazioni del flusso residuo di ciascun blocco transformer, scoprendo che il rifiuto può essere decodificato linearmente molto prima dell'ultimo strato, suggerendo che le rappresentazioni legate alla sicurezza sono presenti prima della generazione dell'output. Hanno proposto Mechanistic AutoDAN, una variante di AutoDAN che utilizza la guida tramite sonda, sostituendo le valutazioni complete del modello con passaggi in avanti parziali e punteggi basati su sonda all'interno di un ciclo di ricerca genetica di prompt. Questo approccio raggiunge tassi di successo degli attacchi competitivi rispetto all'AutoDAN tradizionale, riducendo il tempo di ricerca per iterazione fino al 72%. Inoltre, i prompt guidati da sonda spesso eguagliano o superano il trasferimento cross-modello di AutoDAN in varie configurazioni, con l'efficacia della guida tramite sonda che aumenta con la dimensione del modello e la forza dell'allineamento di sicurezza.