InsightReplay: Ragionamento Stateful per LLM

Una recente pubblicazione su arXiv (2605.14457) presenta InsightReplay, un nuovo metodo di ragionamento stateful che affronta un significativo svantaggio del ragionamento Chain-of-Thought (CoT) nei modelli linguistici di grandi dimensioni. I ricercatori notano che, all'aumentare della lunghezza del CoT, l'attenzione del modello sui primi insight vitali diminuisce, portando a un calo dell'accuratezza dopo aver raggiunto un massimo. InsightReplay recupera periodicamente gli insight essenziali dal processo di ragionamento e li reintroduce vicino al punto di generazione corrente, assicurando che rimangano accessibili. I risultati sperimentali indicano miglioramenti nelle prestazioni di ragionamento.