HALT: Una politica di arresto basata sulla verifica per agenti di ricerca potenziati da recupero
I ricercatori hanno presentato HALT, una politica di arresto semplificata e basata sulla verifica, progettata per migliorare gli agenti di ricerca potenziati da recupero che affrontano domande multi-hop inviando progressivamente query di ricerca e raccogliendo prove. La sfida principale affrontata è la decisione di fermarsi: una volta raccolte prove sufficienti, ulteriori recuperi possono comportare costi, ritardi e contesto irrilevante. HALT concettualizza l'arresto in termini di copertura delle prove anziché di fiducia del generatore, mantenendo invariata la funzionalità dell'agente di ricerca originale. La politica funziona sulla base delle affermazioni previste per ogni hop, cessando le operazioni solo quando le prove accumulate sostengono ogni affermazione necessaria. Testato su tre benchmark di question answering multi-hop, HALT minimizza le ricerche non necessarie mantenendo in gran parte l'accuratezza esatta. La ricerca distingue tra uno scenario implementabile, in cui le affermazioni degli hop derivano dalla domanda, e un limite superiore diagnostico che utilizza annotazioni gold di fatti di supporto. Le affermazioni generate forniscono risparmi modesti ma che preservano l'accuratezza esatta, mentre le affermazioni gold mostrano risparmi più significativi. L'articolo è disponibile su arXiv con l'identificatore 2608.02009.
Fatti principali
- HALT è una politica di arresto basata sulla verifica per agenti di ricerca potenziati da recupero.
- Affronta il problema dell'arresto nel question answering multi-hop.
- L'arresto è inquadrato come copertura delle prove, non come fiducia del generatore.
- HALT lascia invariato l'agente di ricerca.
- Si ferma quando le prove cumulative supportano ogni affermazione richiesta.
- Valutato su tre benchmark di QA multi-hop.
- Riduce le ricerche ridondanti preservando l'accuratezza esatta.
- Separa l'impostazione implementabile (affermazioni generate) dal limite superiore diagnostico (affermazioni gold).
- Articolo disponibile su arXiv: 2608.02009.
Entità
Istituzioni
- arXiv