Nuova ricerca rivela vulnerabilità nei protocolli di sicurezza dei modelli di ragionamento su larga scala

Uno studio pubblicato su arXiv con identificatore 2604.15725 introduce un nuovo attacco di jailbreak mirato ai Large Reasoning Models (LRM), modelli sempre più utilizzati in settori critici come la sanità e l'istruzione. A differenza degli attacchi precedenti che si concentravano sugli output finali, questo metodo inietta contenuti dannosi nei passaggi di ragionamento mantenendo inalterate le risposte, ponendo sfide uniche a causa delle potenziali alterazioni delle risposte e della diversità delle domande in input. Per superare queste difficoltà, i ricercatori hanno sviluppato il Psychology-based Reasoning-targeted Jailbreak Attack (PRJA) Framework, che combina trigger semantici e framing psicologico per eludere gli allineamenti di sicurezza. Il lavoro evidenzia un significativo divario nella protezione dei processi di ragionamento, poiché gli LRM generano catene passo-passo che potrebbero essere manipolate senza essere rilevate. Questa vulnerabilità solleva preoccupazioni riguardo all'implementazione di questi modelli in ambiti ad alto rischio dove la fiducia nella logica interna è essenziale. Il preprint è stato annunciato come abstract interdisciplinare, sottolineando la necessità di misure di sicurezza rafforzate nei sistemi di intelligenza artificiale.