Studio Rivela Vulnerabilità dei Modelli Linguistici di Grandi Dimensioni alle Perturbazioni della Catena del Pensiero

Una valutazione empirica completa esamina la robustezza dei Modelli Linguistici di Grandi Dimensioni (LLM) quando i loro processi di ragionamento vengono interrotti. I ricercatori hanno testato 13 modelli su un ampio intervallo di parametri contro cinque tipi specifici di perturbazioni della Catena del Pensiero (CoT): MathError, UnitConversion, Sycophancy, SkippedSteps e ExtraSteps. Lo studio, documentato in arXiv:2603.03332v3, si concentra su compiti di ragionamento matematico in cui le corruzioni vengono intenzionalmente iniettate nei passaggi di ragionamento intermedi. I risultati mostrano modelli di vulnerabilità eterogenei, con le perturbazioni MathError che causano la più grave degradazione dell'accuratezza nei modelli più piccoli, raggiungendo talvolta una perdita del 50-60%. Gli errori di UnitConversion si sono rivelati persistentemente impegnativi, mantenendo una perdita di accuratezza superiore al 5% anche per i modelli di medie dimensioni. La ricerca evidenzia che, sebbene il prompting CoT sia fondamentale per elicitare il ragionamento dagli LLM, la sua resilienza a tali corruzioni strutturate rimane poco compresa. La valutazione abbraccia modelli su tre ordini di grandezza nel conteggio dei parametri, rivelando che i benefici del ridimensionamento mitigano fortemente alcune vulnerabilità ma non altre. Questo lavoro fornisce una tassonomia strutturata per valutare la robustezza del ragionamento nei sistemi di intelligenza artificiale.