Il Recupero di Pagine Guidato dal Sommario Migliora la Qualità delle Risposte RAG
Uno studio recente ha svelato un metodo per il recupero di pagine nei sistemi RAG che utilizza la guida del sommario (ToC), derivando intestazioni dalla formattazione visiva senza bisogno di chiamate LLM. Un'analisi che ha coinvolto 1.280 scenari su 8 documenti aziendali (da 5 a 195 pagine) ha rivelato che il ToC migliora significativamente la qualità delle risposte (d = +0,41, p = 0,031), in particolare in termini di completezza (+0,40) e utilità (+0,40). Se abbinato alla verifica lato risposta, supera l'efficacia della scomposizione lato query con verifica (d = +0,32, p = 0,036). Il ToC contribuisce al 20% delle citazioni aumentando solo di 2,9 pagine per query. È interessante notare che i miglioramenti sono più pronunciati nei documenti più lunghi (fino a +1,50 su 118 pagine), sebbene questa tendenza non sia statisticamente significativa. L'approccio elimina la necessità di multiple chiamate LLM caricando intere sezioni di pagina anziché porzioni più piccole.
Fatti principali
- Il recupero di pagine guidato dal ToC deduce le intestazioni dalla formattazione visiva senza chiamate LLM.
- Lo studio ha testato 1.280 condizioni su 8 documenti aziendali da 5 a 195 pagine.
- Il ToC è un effetto principale significativo sulla qualità delle risposte (d = +0,41, p = 0,031).
- I maggiori guadagni si registrano in completezza (+0,40) e utilità (+0,40).
- Il ToC combinato con la verifica lato risposta supera la scomposizione lato query + verifica (d = +0,32, p = 0,036).
- Il ToC contribuisce al 20% delle citazioni aggiungendo solo 2,9 pagine per query.
- I guadagni sono direzionalmente maggiori su documenti più lunghi (fino a +1,50 su 118 pagine), ma la tendenza non è significativa.
- Il metodo carica intere sezioni di pagina invece di sotto-porzioni, evitando multiple chiamate LLM.
Entità
—