ThinkSafe: Allineamento di Sicurezza Auto-Generato per Modelli di Ragionamento

Un nuovo framework chiamato ThinkSafe è stato sviluppato da ricercatori per migliorare la sicurezza nei grandi modelli di ragionamento (LRM) senza la necessità di modelli insegnante esterni. Questi LRM utilizzano l'apprendimento per rinforzo per compiti di ragionamento, producendo estese catene di pensiero (CoT), ma spesso danno eccessiva priorità alla conformità, il che può renderli suscettibili a prompt dannosi. I metodi attuali che impiegano la distillazione da insegnante esterno creano un divario distribuzionale che mina il ragionamento nativo. Il team di ricerca definisce il riallineamento della sicurezza come una proiezione KL su un simplesso sicuro, dimostrando che l'obiettivo ottimale per la distribuzione filtrata per la sicurezza dello studente è unico, mentre qualsiasi insegnante esterno comporta una penalità KL inevitabile. ThinkSafe sfrutta l'idea che i modelli possono ancora riconoscere il danno nonostante la conformità attenui le misure di sicurezza. Il paper è disponibile su arXiv con ID 2601.23143.