BM25 Gerarchico: Ricerca Lessicale Efficiente su Miliardi di Documenti

Uno studio recente pubblicato su arXiv (2608.00229) presenta il BM25 Gerarchico, una tecnica progettata per ricerche lessicali approssimative su miliardi di documenti. Gli autori evidenziano che un indice BM25 standard per oltre un miliardo di documenti richiede circa 400 GB di storage, rendendo necessaria una DRAM proporzionale alla dimensione del corpus, e che il recupero basato su disco può richiedere da 4 a 12 secondi per query, rendendo il recupero preciso dei top-k impraticabile per un uso interattivo. Il BM25 Gerarchico sacrifica la classificazione esatta per mantenere limiti fissi su memoria e latenza. Utilizza un indice grossolano per determinare quali tra circa 1.000 gruppi di documenti tematici interrogare, basandosi su due indicatori: la frequenza totale dei termini della query in un gruppo e la co-occorrenza di termini informativi sparsi. Le ricerche esaustive vengono quindi condotte all'interno dei gruppi selezionati, valutando rispetto a circa 100 KB di statistiche globali, garantendo che i punteggi restituiti corrispondano a quelli dell'indice piatto, con l'approssimazione limitata al processo di selezione. L'ingombro di memoria è di circa 4,4 GB, una diminuzione sostanziale rispetto ai 400 GB dell'indice piatto. Questo metodo facilita ricerche lessicali interattive su corpora estesi, che potrebbero migliorare le applicazioni nel recupero delle informazioni, negli archivi digitali e nell'analisi dei dati su larga scala. L'articolo è accessibile tramite il link arXiv fornito.