PAD-Rec: Accelerare la Raccomandazione Generativa Basata su LLM

Un nuovo metodo chiamato PAD-Rec (Position-Aware Drafting per la Raccomandazione Generativa) migliora la velocità di inferenza nei modelli linguistici di grandi dimensioni (LLM) per la raccomandazione generativa di tipo list-wise. La tecnica affronta i limiti del decoding speculativo standard (SD), che utilizza un piccolo modello di bozza per proporre più token e un LLM target per verificarli. Nelle attività di raccomandazione, gli elementi sono rappresentati da token di ID semantici con separatori, e la semantica dei token dipende dalla loro posizione all'interno di uno slot di elemento. L'incertezza aumenta anche con la profondità della speculazione. PAD-Rec potenzia il modello di bozza con segnali sensibili alla posizione per tenere conto di questi fattori, ottenendo maggiori accelerazioni senza alterare la distribuzione target. Il lavoro è pubblicato su arXiv con ID 2604.27747.