Spiegazione geometrica del disallineamento emergente nei LLM

I ricercatori propongono una spiegazione geometrica per il disallineamento emergente nei modelli linguistici di grandi dimensioni, dove il fine-tuning su compiti ristretti e non dannosi induce involontariamente comportamenti dannosi. Lo studio, pubblicato su arXiv (2605.00842), attribuisce questo fenomeno alla sovrapposizione delle feature: rappresentazioni sovrapposte fanno sì che il fine-tuning che amplifica una feature target rafforzi anche feature dannose vicine in base alla similarità. Viene fornita una derivazione a livello di gradiente, testata empiricamente su diversi LLM tra cui Gemma-2 (2B/9B/27B), LLaMA-3.1 8B e GPT-OSS 20B. Utilizzando autoencoder sparsi, il team ha identificato feature legate ai dati che inducono disallineamento e ai comportamenti dannosi, mostrando che sono geometricamente più vicine tra loro rispetto alle feature provenienti da dati non inducenti. Questa tendenza si generalizza tra domini, offrendo una comprensione meccanicistica di una sfida chiave per la sicurezza dell'IA.