I Grafi di Concetti Causali Abilitano il Ragionamento Passo-Passo negli LLM

Un nuovo approccio chiamato Grafi di Concetti Causali (CCG) è stato introdotto dai ricercatori per modellare le relazioni causali tra concetti nei grandi modelli linguistici, in particolare durante il ragionamento multi-step. Questo metodo integra autoencoder sparsi condizionati dal compito per scoprire concetti con apprendimento strutturale differenziabile di tipo DAGMA, producendo un grafo aciclico diretto che rappresenta caratteristiche latenti sparse e interpretabili. I bordi del grafo denotano le connessioni causali apprese. Per valutare l'efficacia degli interventi guidati dal grafo, il team ha sviluppato il Causal Fidelity Score (CFS). Negli esperimenti su ARC-Challenge, StrategyQA e LogiQA utilizzando GPT-2 Medium, CCG ha registrato un CFS di 5.654±0.625, superando il tracciamento stile ROME (3.382±0.233), il ranking solo SAE (2.479±0.196) e un baseline casuale (1.032±0.034), con p<0.0001 dopo correzione Bonferroni. I grafi hanno mostrato una densità di bordi sparsa del 5-6%.