IVF-TQ: Compressione Residua Senza Codebook per la Ricerca Vettoriale in Streaming

Un nuovo articolo su arXiv ha presentato IVF-TQ, un innovativo indice a file invertito per ricerche approssimate del vicino più prossimo, dotato di un layer di compressione residua indipendente dai dati. A differenza di metodi comuni come PQ, OPQ e ScaNN, che si basano sull'aggiustamento di un codebook su un dataset specifico e soffrono di un calo del recall all'aumentare dei database, IVF-TQ utilizza una rotazione casuale fissa insieme a un quantizzatore scalare di Lloyd-Max precalcolato che dipende solo dalla larghezza di bit b e dalla dimensione d. L'unica parte che richiede addestramento è la partizione k-means grossolana di IVF. Questo metodo fornisce un bound coerente dell'errore del prodotto interno sulla sfera, un vantaggio significativo rispetto agli approcci con codebook appreso. Esperimenti rivelano che la quantizzazione del prodotto può causare un calo del -3,8pp nel recall, evidenziando il problema che IVF-TQ affronta.