CAR: Il Reranking Basato sulla Confidenza Migliora la Qualità della Generazione Aumentata da Recupero
Presentiamo CAR (Confidence-Aware Reranking), un nuovo framework che migliora la generazione aumentata da recupero senza necessità di addestramento. Questo approccio sposta l'attenzione dalla rilevanza tradizionale query-documento al cambiamento di confidenza del generatore, valutato attraverso la coerenza semantica delle risposte campionate. I documenti che aumentano la confidenza vengono promossi nel ranking, mentre quelli che la diminuiscono vengono declassati; i casi ambigui mantengono il ranking originale. Un gate a livello di query garantisce che le query già confidenti rimangano inalterate. I test su quattro dataset BEIR dimostrano che CAR supera le attuali tecniche di reranking.
Fatti principali
- CAR è un framework di reranking guidato dalla query, senza addestramento e plug-and-play.
- Utilizza il cambiamento di confidenza del generatore come segnale di utilità del documento.
- La confidenza è stimata attraverso la coerenza semantica di più risposte campionate.
- I documenti che aumentano la confidenza vengono promossi; quelli che la diminuiscono vengono declassati.
- I casi incerti preservano l'ordine di base.
- Un gate a livello di query evita l'intervento su query già confidenti.
- Gli esperimenti sono stati condotti su quattro dataset BEIR.
- L'articolo è disponibile su arXiv con ID 2605.04495.
Entità
Istituzioni
- arXiv