ICICLE: Recupero In-Context per Indicizzazione Generativa
I sistemi di recupero generativo (GR) integrano identificatori di documenti nei parametri del modello, portando a costi elevati per l'espansione del corpus e rischi di dimenticanza catastrofica. Una recente pubblicazione su arXiv introduce ICICLE, un framework di indicizzazione in-context che utilizza i documenti appena incorporati come evidenza durante l'inferenza. ICICLE impiega un approccio di routing basato su [COPY], calibrazione basata su preferenze e adattamento a contesti ampi per distinguere tra recupero basato sul contesto e recupero parametrico. I test condotti su MS MARCO e NQ320K dimostrano prestazioni di recupero migliorate per i documenti appena aggiunti.
Fatti principali
- 1. Il recupero generativo mappa le query agli identificatori di documenti utilizzando conoscenze parametriche.
- 2. Aggiungere nuovi documenti a GR richiede l'aggiornamento dei parametri del modello.
- 3. ICICLE è un framework di indicizzazione in-context.
- 4. ICICLE esegue la generazione di docid consapevole della fonte su memoria parametrica e coppie fornite dal contesto.
- 5. ICICLE utilizza un meccanismo di routing basato su [COPY].
- 6. ICICLE utilizza la calibrazione basata su preferenze.
- 7. ICICLE utilizza l'adattamento a contesti ampi.
- 8. Gli esperimenti sono stati condotti sui dataset MS MARCO e NQ320K.
Entità
Istituzioni
- arXiv