Allineamento Cross-Modale per la Generazione di SemanticID nella Raccomandazione Generativa
Un nuovo framework affronta tre limitazioni critiche nei sistemi di Raccomandazione Generativa (GR) che utilizzano Semantic ID (SID) per comprimere dati su scala di trilioni. I problemi includono il degrado informativo dovuto alla compressione a due stadi, il degrado semantico dovuto alla quantizzazione a cascata e la distorsione modale tra caratteristiche testuali e visive. La soluzione proposta integra l'allineamento cross-modale per migliorare la qualità dei SID e le prestazioni di raccomandazione.
Fatti principali
- La Raccomandazione Generativa utilizza Semantic ID per la previsione del token successivo
- Il pipeline di compressione a due stadi causa perdita semantica
- La quantizzazione a cascata scarta caratteristiche multimodali chiave
- I quantizzatori non riescono ad allineare le modalità testuali e visive
- Il nuovo framework integra l'allineamento cross-modale
- Il metodo proposto affronta il degrado informativo, semantico e modale
Entità
Istituzioni
- arXiv