REPREC: Raccomandazione Sequenziale Leggera Basata su LLM tramite Allineamento dell'Embedding Utente
Un team di ricercatori ha introdotto REPREC, un framework efficiente progettato per raccomandazioni sequenziali che utilizza modelli linguistici di grandi dimensioni. Questo metodo trasforma un embedding utente di dimensione fissa proveniente da un codificatore sequenziale statico in token soft tramite un semplice iniettore MLP, consentendo a un LLM congelato di operare senza necessità di fine-tuning o componenti aggiuntivi. Questa innovazione riduce sia la complessità dell'addestramento che i costi di implementazione, preservando al contempo la personalizzazione. In particolare, evita il condizionamento a livello di elemento su storie estese e mantiene intatti i backbone pre-addestrati. I risultati sperimentali ne convalidano l'efficacia.
Fatti principali
- 1. REPREC riformula la raccomandazione sequenziale basata su LLM attraverso un allineamento leggero della rappresentazione utente.
- 2. Utilizza un codificatore sequenziale congelato e un LLM congelato.
- 3. Un iniettore MLP leggero mappa gli embedding utente in token soft.
- 4. Solo l'iniettore viene addestrato; i backbone rimangono invariati.
- 5. L'approccio evita il fine-tuning del LLM, moduli aggiuntivi e distillazione della rappresentazione.
- 6. Riduce la complessità dell'addestramento e il costo di implementazione.
- 7. Il framework è progettato per compiti di raccomandazione sequenziale.
- 8. L'articolo è disponibile su arXiv con ID 2607.24845.
Entità
Istituzioni
- arXiv