Nuovo metodo a due fasi per prevedere la veridicità nella generazione aumentata da recupero
È stato proposto un nuovo approccio per valutare l'aderenza ai fatti nei sistemi di generazione aumentata da recupero (RAG). Il metodo utilizza la previsione conforme per filtrare i chunk recuperati che probabilmente provengono dalla fonte corretta, migliorando la qualità delle risposte fino al 6% su alcuni dataset. Tuttavia, le garanzie statistiche non valgono in generale a causa di violazioni dell'assunzione di scambiabilità. La ricerca è presentata in arXiv:2605.05244.
Fatti principali
- Il metodo utilizza un approccio a due fasi per prevedere l'aderenza ai fatti.
- La previsione conforme seleziona i chunk recuperati con alta probabilità di fonte corretta.
- La qualità delle risposte è migliorata fino al 6% su alcuni dataset.
- Le garanzie statistiche non valgono in generale a causa di violazioni dell'assunzione di scambiabilità.
- La ricerca affronta il problema del contesto irrilevante nei RAG.
- L'approccio associa misure di confidenza alle risposte generate.
- Lo studio è pubblicato su arXiv con ID 2605.05244.
- RAG è una tecnica diffusa nelle applicazioni AI industriali.
Entità
Istituzioni
- arXiv