Passaggi di Ragionamento dei LLM Localizzati nei Capi di Attenzione

Un nuovo preprint su arXiv (2605.27824) indaga come i Large Language Models (LLM) eseguono il ragionamento logico localizzando i capi di attenzione responsabili dei singoli passaggi di ragionamento. Lo studio utilizza un framework di prompting Chain-of-Thought (CoT) assistito da simboli per allineare i passaggi di ragionamento con i logit dei token. Scopre che le posizioni dei token che guidano il ragionamento sono associate a punteggi di confidenza bassi a causa dei vincoli derivanti dalle dimostrazioni. Il lavoro mira a caratterizzare il trasferimento di informazioni tra i capi di attenzione, rivelando come i LLM comprendono il ragionamento astratto da esempi limitati.