DEPT: Un Nuovo Metodo di Addestramento per l'Espansione Unificata delle Query e il Recupero nei LLM
Un nuovo articolo su arXiv propone il Document Embedding Preservation Tuning (DEPT), un approccio di addestramento per grandi modelli linguistici che combina l'espansione delle query e il recupero di documenti in un unico modello decoder-only. I sistemi tradizionali utilizzano moduli separati o espansioni promptate, che spesso non si allineano con la loss di recupero. DEPT affronta il problema del bersaglio mobile, in cui l'aggiornamento del modello per l'espansione delle query modifica involontariamente gli embedding dei documenti utilizzati come bersagli di recupero. Il metodo mantiene gli embedding dei documenti addestrati vicini alle loro versioni cache iniziali, consentendo al contempo ai gradienti di recupero di passare attraverso la decodifica straight-through. Questo addestramento unificato consente allo stesso modello di generare espansioni e codificare sia query che documenti. L'articolo, identificato come arXiv:2608.17632, descrive la tecnica in dettaglio.
Fatti principali
- DEPT sta per Document Embedding Preservation Tuning.
- Addestra un unico LLM decoder-only end-to-end per l'espansione delle query e il recupero.
- I sistemi esistenti si basano su espansioni promptate, moduli indipendenti o ottimizzazione a fasi.
- Il problema del bersaglio mobile sorge quando la supervisione del recupero sposta gli embedding dei documenti.
- DEPT preserva gli embedding dei documenti vicini agli embedding iniziali cache.
- I gradienti di recupero passano attraverso la decodifica straight-through.
- L'articolo è disponibile su arXiv con identificatore 2608.17632.
- Il modello codifica sia query espanse che documenti candidati.
Entità
—