ReaLM-Retrieve: Recupero Adattivo per Grandi Modelli di Ragionamento
Un nuovo framework chiamato ReaLM-Retrieve affronta il disallineamento tra il recupero aumentato per generazione (RAG) e i grandi modelli di ragionamento come DeepSeek-R1 e OpenAI o1. Gli attuali sistemi RAG forniscono il contesto prima che inizi il ragionamento, ma i modelli di ragionamento richiedono l'iniezione di prove durante l'inferenza multi-step. ReaLM-Retrieve introduce un rilevatore di incertezza a livello di passo, una politica di intervento per il recupero e un meccanismo di integrazione ottimizzato per l'efficienza che riduce il costo per recupero di 3,2 volte. Esperimenti su MuSiQue, HotpotQA e 2WikiMultiHopQA ne dimostrano l'efficacia.
Fatti principali
- ReaLM-Retrieve è un framework di recupero consapevole del ragionamento.
- Affronta la mancata corrispondenza tra RAG e grandi modelli di ragionamento.
- Grandi modelli di ragionamento come DeepSeek-R1 e OpenAI o1 generano catene di pensiero estese.
- Gli attuali sistemi RAG sono ottimizzati per fornire contesto prima che inizi il ragionamento.
- ReaLM-Retrieve utilizza un rilevatore di incertezza a livello di passo.
- Include una politica di intervento per il recupero che apprende quando le prove esterne giovano al ragionamento.
- Il framework riduce il costo per recupero di 3,2 volte rispetto all'integrazione ingenua.
- Gli esperimenti sono stati condotti su MuSiQue, HotpotQA e 2WikiMultiHopQA.
Entità
Istituzioni
- arXiv