ReLIT: un Trasformatore Implicito Latente Ricorsivo per un Ragionamento Efficiente nei LLM

Uno studio recente pubblicato su arXiv (2608.08113) presenta ReLIT (Recursive Latent Implicit Transformer), un nuovo framework ibrido volto a minimizzare i costi computazionali associati al prompting Chain-of-Thought (CoT) nei Large Language Models (LLM). Sebbene il prompting CoT migliori efficacemente il ragionamento, richiede che i modelli esprimano i passaggi intermedi come token separati, portando a costi computazionali elevati. ReLIT interiorizza innovativamente il ragionamento attraverso stati nascosti continui, attingendo alle tecniche di ragionamento latente contemporanee. La ricerca evidenzia che i Tiny Recursive Models (TRM) funzionano bene nel ragionamento simbolico ma spesso mancano di coerenza semantica nel linguaggio naturale. Per affrontare questo, ReLIT integra il ragionamento ricorsivo con le rappresentazioni semantiche di un backbone LLM statico (TinyLlama-1.1B) e incorpora un componente ricorsivo leggero e addestrabile che affina il ragionamento latente prima di generare l'output finale. Questo framework aspira a consentire un ragionamento profondo con una produzione ridotta di token, migliorando così l'efficienza. L'articolo è classificato come nuovo annuncio e può essere accessibile tramite l'URL fornito.