Problemi di Sicurezza nei Grandi Modelli di Ragionamento

Un nuovo studio rivela che i grandi modelli di ragionamento (LRM) espongono rischi per la sicurezza nelle loro tracce di ragionamento a catena di pensiero, anche quando le risposte finali sembrano sicure. I ricercatori hanno testato 15 LRM a peso aperto e basati su API su 41.000 prompt ciascuno, utilizzando una rubrica di sicurezza basata su venti principi. Hanno identificato 'casi di fuga' (ragionamento non sicuro con risposte sicure) e 'casi di evasione' (ragionamento sicuro con risposte non sicure). Lo studio ha utilizzato prompt provenienti da sette fonti di dannosità e jailbreak, più quattro fonti fuori distribuzione. I risultati evidenziano che la sicurezza della risposta finale non è sufficiente come proxy per la sicurezza complessiva.