Processo di Ragionamento dei LLM Rivelato tramite Analisi dei Layer di Attenzione

Un nuovo studio su arXiv (2603.29735v2) indaga come i grandi modelli linguistici passano da informazioni a livello di token a strutture relazionali astratte durante il ragionamento. Analizzando i layer e le teste di attenzione nel ragionamento autoregressivo, i ricercatori hanno scoperto una coerente divisione del lavoro tra i layer: i layer esterni preservano e instradano le caratteristiche relative all'input, mentre i layer intermedi le riorganizzano in rappresentazioni a livello di regole trasferibili. Ciò è supportato dalla geometria delle rappresentazioni, che mostra che gli stati dei layer intermedi occupano varietà a dimensione inferiore e si allineano tra vocabolari disgiunti con le stesse regole simboliche. Interventi causali confermano che la rimozione di componenti dei layer intermedi causa cambiamenti maggiori a valle. L'articolo si concentra su compiti di ragionamento matematico e simbolico.