I Piccoli Modelli Linguistici Usano una Scorciatoia Posizionale per l'Aritmetica, Non la Logica

Un recente studio pubblicato su arXiv (2605.22870) indica che i piccoli modelli linguistici (1-3 miliardi di parametri) dipendono da una scorciatoia posizionale invece che dal ragionamento logico quando eseguono compiti aritmetici tramite prompting a catena di pensiero (CoT). I ricercatori hanno valutato tre modelli istruiti con il dataset GSM8K e hanno scoperto che durante la fase di lettura della risposta, il modello si limita a replicare il numero che appare per ultimo prima del delimitatore di risposta, ignorando qualsiasi ragionamento intermedio. La presenza di risposte corrette contribuisce per 54-92 punti percentuali all'accuratezza (89-92% del tetto di teacher-forcing per ciascun modello). In particolare, anche con input errati, la risposta finale corrisponde all'ultimo numero della CoT nel 95-96% dei casi. Ciò suggerisce che il ruolo della CoT potrebbe non riguardare la sequenza logica, ma piuttosto una scorciatoia posizionale, sfidando le convinzioni esistenti sul ragionamento nei modelli linguistici più piccoli.