PromptEmbedder: Framework Dual-LLM per un Efficiente Embedding di Testo
Un team di ricercatori ha presentato PromptEmbedder, un framework dual-LLM progettato per separare la conoscenza dell'embedding dai pesi specifici del backbone, facilitando trasferimenti architetturali efficienti. Questo sistema utilizza un LLM di Prompting per creare soft prompt consapevoli delle istruzioni per un LLM di Embedding statico attraverso una generazione differenziabile con rilassamento continuo, consentendo un flusso completo del gradiente durante l'addestramento contrastivo. Per adattarsi a nuovi backbone, è necessario riaddestrare solo una matrice di allineamento lineare leggera, eliminando così la necessità di costosi riaddestramenti da zero. Le valutazioni condotte sul benchmark MTEB indicano livelli di prestazione simili a LoRA. Questa ricerca è stata pubblicata su arXiv.
Fatti principali
- PromptEmbedder è un framework dual-LLM per l'embedding di testo.
- Disaccoppia la conoscenza dell'embedding dai pesi specifici del backbone.
- Utilizza un LLM di Prompting per generare soft prompt per un LLM di Embedding congelato.
- La generazione differenziabile con rilassamento continuo garantisce il flusso del gradiente.
- L'adattamento a nuove architetture richiede solo il riaddestramento di una matrice di allineamento lineare.
- Valutato sul benchmark MTEB, raggiunge prestazioni comparabili a LoRA.
- Affronta i colli di bottiglia nell'efficienza computazionale e nella trasferibilità cross-architetturale.
- Pubblicato su arXiv con ID 2605.28066.
Entità
Istituzioni
- arXiv