I Livelli MLP e i Blocchi Centrali della Rete Codificano il Comportamento di Rifiuto nei LLM

Un nuovo studio su arXiv (2608.11583) indaga dove il comportamento di rifiuto allineato alla sicurezza è codificato nei grandi modelli linguistici (LLM). La ricerca, che utilizza due coppie di modelli a pesi aperti e quattro benchmark di sicurezza, rivela che il trasferimento del rifiuto è dominato dai pesi MLP (percettrone multistrato) piuttosto che dai pesi di attenzione. Sostituire i parametri MLP recupera sostanzialmente più rifiuti per prompt malevoli, con guadagni di almeno 2,7 volte su tutti i benchmark. Lo studio trova anche una concentrazione coerente dei parametri rilevanti per il rifiuto nei blocchi centrali della rete all'interno dello stack MLP. Questo lavoro mette in discussione l'assunto che l'allineamento alla sicurezza sia distribuito sull'intera rete, suggerendo che sia concentrato in livelli specifici. I risultati hanno implicazioni per migliorare la sicurezza dei LLM e comprendere gli internals del modello.