LENS: framework senza indicizzazione per la ricerca in contesto su documenti dinamici

Un recente preprint su arXiv presenta LENS (Latent Evidence Exploration and Search), un framework innovativo progettato per la ricerca in contesto all'interno di raccolte di documenti grezzi in continua evoluzione senza la necessità di indicizzazione. L'articolo, identificato come arXiv:2608.16185v2, affronta le difficoltà incontrate dagli agenti LLM quando rispondono a query da documenti che possono alterarsi prima della pre-elaborazione, con prove pertinenti che dipendono dalla query specifica. I metodi tradizionali di retrieval-augmented si basano su chunking fisso, embedding o indici persistenti, che possono essere costosi e obsoleti. Al contrario, LENS affronta la ricerca in contesto come Budgeted Evidence Localization all'interno di uno spazio di prove latenti formato da documenti dinamici. Mantiene una credenza condizionata dalla query e seleziona iterativamente i candidati, perfezionando questa credenza attraverso un oracolo di rilevanza LLM per concentrarsi su aree ad alta probabilità a posteriori, fornendo così una soluzione più flessibile per collezioni dinamiche.