SimpleWikiSearch: Un Ambiente Wikipedia Offline Pulito per la Ricerca Agentica
I ricercatori hanno introdotto SimpleWikiSearch, un setup Wikipedia offline progettato per valutare sistemi di ricerca agentica basati su LLM in modo riproducibile. Questo ambiente affronta aspetti vaghi nelle valutazioni esistenti offrendo una chiara costruzione del corpus, un framework di recupero, specifiche degli strumenti e metodi di valutazione. Utilizza un dump completo di Wikipedia in inglese, processa e segmenta il corpus, crea indici di recupero per parole chiave e densi, e fornisce un'interfaccia strumentale di base con funzioni di ricerca, open_url e submit_answer. Vengono presentati risultati di base su sei dataset di QA utilizzando LLM open-source. Questa iniziativa mira a migliorare la comparabilità e riproducibilità degli studi nella ricerca agentica.
Fatti principali
- SimpleWikiSearch è un ambiente Wikipedia offline per la ricerca agentica.
- Affronta dettagli sotto-specificati nelle attuali valutazioni di ricerca agentica basate su LLM.
- L'ambiente include costruzione esplicita del corpus, stack di recupero, contratto degli strumenti e protocollo di valutazione.
- Parte da un dump completo di Wikipedia in inglese.
- Pulisce e segmenta il corpus.
- Costruisce indici di recupero per parole chiave e densi.
- L'interfaccia strumentale consiste in search, open_url e submit_answer.
- Vengono riportati risultati di base su sei dataset di QA utilizzando LLM open-source.
Entità
Istituzioni
- arXiv