BeyondUncertainty: Utilizzare la Confidenza degli LLM per Instradare il Recupero
Esiste un approccio innovativo chiamato BeyondUncertainty che sfrutta i livelli di confidenza dei modelli linguistici black-box per decidere quando cercare informazioni esterne per rispondere a domande. Inizia creando una risposta provvisoria con un punteggio di confidenza, quindi verifica rispetto a una soglia specifica basata su dati di validazione. Se la confidenza è bassa, recupera i primi 5 risultati e formula una nuova risposta; se è alta, fornisce semplicemente la risposta iniziale. Nei test che hanno coinvolto 27.000 casi politici su sei benchmark QA e tre diversi tipi di modello, BeyondUncertainty ha registrato un punteggio F1 medio a livello di token di 0,483, superiore allo 0,467 del recupero costante e allo 0,401 del nessun recupero, riducendo al contempo i costi di recupero. Questo studio affronta i problemi di informazioni irrilevanti e di elevate richieste computazionali del recupero casuale nella generazione aumentata da recupero.
Fatti principali
- Metodo chiamato BeyondUncertainty
- Utilizza la confidenza verbalizzata da LLM black-box
- Applica una soglia specifica del modello su dati di validazione esclusi
- Le domande a bassa confidenza ottengono un recupero TF-IDF dei primi 5 risultati
- Le domande ad alta confidenza restituiscono direttamente la risposta provvisoria
- Valutato su 27.000 istanze politiche
- Sei benchmark QA utilizzati
- Testate tre famiglie di modelli e tre politiche di recupero
- Punteggio F1 medio a livello di token: 0,483 (BeyondUncertainty), 0,467 (recupero sempre), 0,401 (nessun recupero)
- Riduce i costi di recupero
Entità
—