Fallimenti dei RAG spiegati attraverso grafi di attribuzione a livello di circuito
Un nuovo studio da arXiv (2605.14192) indaga perché i sistemi Retrieval-Augmented Generation (RAG) producono risposte errate nonostante l'accesso a prove esterne. Utilizzando il tracciamento dei circuiti, i ricercatori hanno costruito grafi di attribuzione che modellano il flusso di informazioni attraverso i livelli del trasformatore durante la decodifica. Questi grafi rivelano interazioni tra contesto recuperato, attivazioni intermedie e token generati. Attraverso diversi benchmark di domande e risposte, sono emerse differenze strutturali consistenti: le previsioni corrette mostrano percorsi di ragionamento più profondi rispetto a quelle errate. Il lavoro fornisce una visione interna al modello, a livello di circuito, di come le prove esterne vengono integrate nel ragionamento, offrendo una nuova prospettiva sui fallimenti dei RAG.
Fatti principali
- Lo studio esamina perché i RAG falliscono nonostante le prove esterne
- Utilizza il tracciamento dei circuiti per costruire grafi di attribuzione
- I grafi modellano il flusso di informazioni attraverso i livelli del trasformatore
- Le previsioni corrette mostrano percorsi di ragionamento più profondi
- I risultati sono consistenti attraverso diversi benchmark di QA
- L'articolo è disponibile su arXiv con ID 2605.14192
- Fornisce una visione a livello di circuito dell'integrazione delle prove
- Si concentra sui meccanismi interni del modello
Entità
Istituzioni
- arXiv