Il dataset HazMart e la Targeted Reasoning Replacement affrontano la tensione fedeltà-sicurezza nei LRM

Un recente preprint su arXiv (2608.03745) evidenzia un conflitto nei Large Reasoning Models (LRM) riguardo alla fedeltà—ovvero quanto l'output di un modello sia allineato con il suo processo di ragionamento—e alla sua capacità di proteggersi da ragionamenti non sicuri. Gli autori sostengono che, mentre l'uso del ragionamento Chain-of-Thought (CoT) richiede fedeltà, i modelli devono anche filtrare idee non sicure, creando un equilibrio. Per indagare questo problema, presentano HazMart, un dataset costruito attorno a uno scenario di un negoziante AI autonomo. A differenza degli studi precedenti che valutano la fedeltà tramite suggerimenti nel prompt, introducono un nuovo metodo chiamato Targeted Reasoning Replacement (TRR), che interviene direttamente nel processo di ragionamento per sostituire pensieri non sicuri o illogici. I risultati rivelano questa tensione nei LRM esistenti e propongono soluzioni, contribuendo alla sicurezza e all'interpretabilità dell'IA offrendo un nuovo approccio al monitoraggio dei modelli.