ResRank: Addestramento Congiunto End-to-End per Recupero Unificato e Riordinamento Listwise
Un nuovo framework chiamato ResRank è stato introdotto dai ricercatori per affrontare due sfide significative nel riordinamento listwise con LLM: il problema del 'perso nel mezzo' e la latenza di inferenza super-lineare. Ispirandosi agli LLM multimodali, ResRank utilizza un Encoder-LLM per condensare ogni passaggio candidato in un singolo embedding. Questo embedding, insieme alla query, viene elaborato da un Reranker-LLM per il ranking listwise. Questo metodo non solo accorcia la lunghezza dell'input, ma riduce anche il degrado del ranking. Progettato per uso industriale, il framework migliora l'efficienza mantenendo l'efficacia. Il documento è disponibile su arXiv con l'identificatore 2604.22180.
Fatti principali
- ResRank unifica recupero e riordinamento listwise tramite addestramento congiunto end-to-end.
- Utilizza un Encoder-LLM per comprimere ogni passaggio in un singolo embedding.
- Il Reranker-LLM esegue il ranking listwise utilizzando query e embedding compressi.
- Affronta il fenomeno del 'perso nel mezzo' in sequenze di input lunghe.
- Riduce la latenza di inferenza che scala in modo super-lineare con la lunghezza della sequenza.
- Ispirato agli LLM multimodali che proiettano input visivi in token compatti.
- Mira a rendere il riordinamento basato su LLM pratico per l'implementazione industriale.
- Articolo pubblicato su arXiv con ID 2604.22180.
Entità
Istituzioni
- arXiv