Sonda CDD Diagnostica la Conformità del Contesto RAG in Presenza di Conflitti di Conoscenza
Un nuovo approccio noto come Context-Driven Decomposition (CDD) è stato sviluppato per identificare i casi in cui i sistemi di retrieval-augmented generation (RAG) si basano su informazioni recuperate contraddittorie piuttosto che sulla propria comprensione. Questo metodo, descritto in un articolo su arXiv (2605.14473), funge da sonda di scomposizione delle credenze durante l'inferenza e da strumento di intervento per gestire i conflitti di recupero. In valutazioni come i test di stress Epi-Scale, l'iniezione di misconcezioni TruthfulQA (N=500) e le riesecuzioni cross-modello, CDD rivela tre pattern distinti: in scenari avversari, il RAG standard raggiunge solo il 15,0% di accuratezza; i miglioramenti di accuratezza in contesti avversari sono trasferibili tra famiglie di modelli (Gemini-2.5-Flash, Claude Haiku/Sonnet/Opus), mentre l'accoppiamento causale tra ragionamento e risposte non si trasferisce. Questo studio esplora il Regime di Conformità al Contesto, in cui il contesto recuperato influenza l'output finale nonostante sia in conflitto con la conoscenza intrinseca del modello.
Fatti principali
- Context-Driven Decomposition (CDD) è una sonda di scomposizione delle credenze per sistemi RAG.
- CDD opera al momento dell'inferenza e funge da meccanismo di intervento.
- Il RAG standard raggiunge il 15,0% di accuratezza sull'iniezione di misconcezioni TruthfulQA (N=500).
- CDD migliora l'accuratezza su Gemini-2.5-Flash e Claude Haiku/Sonnet/Opus.
- L'accoppiamento causale ragionamento-risposta non si trasferisce tra famiglie di modelli.
- Il Regime di Conformità al Contesto si verifica quando il contesto recuperato domina nonostante il conflitto con la conoscenza parametrica.
- I test includono test di stress Epi-Scale e riesecuzioni cross-modello.
- L'articolo è disponibile su arXiv con ID 2605.14473.
Entità
Istituzioni
- arXiv