Recupero Spettrale: Convoluzione Sinc Multi-Scala per Sistemi Multi-Agente LLM
Un nuovo metodo di ri-ordinamento plug-in noto come Recupero Spettrale colma il divario tra MaxSim per token e recupero a media-pooling attraverso la convoluzione sinc multi-scala applicata agli embedding dei token. Nel recupero denso convenzionale, ogni documento è rappresentato da un singolo vettore media-pooling, che riduce i segnali di rilevanza localizzati. Il Recupero Spettrale utilizza gli embedding per token da un indice a interazione tardiva, convolvendoli con un kernel sinc normalizzato a varie scale. Alla scala L=1, il kernel funge da identità, replicando il MaxSim per token; all'aumentare di L, transita verso un filtro uniforme, imitando il media-pooling. In un benchmark sintetico controllato con 1.000 documenti caratterizzati da picchi in singola posizione, il recupero a media-pooling mostra prestazioni casuali (Recall@10 ~ 0,02), mentre il Recupero Spettrale migliora significativamente il richiamo, mirando a ottimizzare il recupero localizzato nei sistemi multi-agente LLM.
Fatti principali
- Il Recupero Spettrale è una fase di ri-ordinamento plug-in per il recupero denso.
- Interpola tra MaxSim per token e recupero a media-pooling.
- Utilizza la convoluzione sinc multi-scala sugli embedding dei token.
- Riutilizza gli embedding per token da un indice a interazione tardiva.
- A L=1, il kernel è identità, recuperando MaxSim; a L grande, si avvicina al media-pooling.
- Il coseno massimo su posizioni e scale produce un punteggio non meno informativo degli estremi.
- Su benchmark sintetico con 1.000 documenti e picchi in singola posizione, Recall@10 del media-pooling ~ 0,02.
- Il Recupero Spettrale migliora significativamente il richiamo rispetto al media-pooling.
- Progettato per sistemi multi-agente LLM.
Entità
Istituzioni
- arXiv