VLM2Rec: Bilanciare le Modalità nei Modelli Visione-Linguaggio per la Raccomandazione Sequenziale
Un recente preprint su arXiv (2603.17450) presenta VLM2Rec, un nuovo framework che sfrutta i Modelli Visione-Linguaggio (VLM) per raccomandazioni sequenziali multimodali con un'enfasi sul filtraggio collaborativo. I ricercatori evidenziano un problema critico: il convenzionale fine-tuning supervisionato contrastivo (SFT) può esacerbare lo squilibrio di modalità esistente, portando una modalità a oscurare l'altra, il che alla fine influisce sulla precisione delle raccomandazioni. Per contrastare ciò, VLM2Rec incoraggia un uso più equo delle modalità. Gli autori introducono un meccanismo chiamato 'Weak-modality Penaliz' per garantire che sia gli input visivi che quelli testuali siano utilizzati efficacemente. Questo lavoro trae ispirazione dall'efficacia dei Grandi Modelli Linguistici (LLM) come embedder robusti e cerca di incorporare i segnali di filtraggio collaborativo nelle rappresentazioni degli elementi. Il paper è accessibile all'indirizzo https://arxiv.org/abs/2603.17450.
Fatti principali
- Il paper arXiv:2603.17450 introduce il framework VLM2Rec.
- VLM2Rec utilizza i Modelli Visione-Linguaggio (VLM) come embedder multimodali consapevoli del filtraggio collaborativo per la raccomandazione sequenziale.
- Il SFT contrastivo standard può amplificare lo squilibrio di modalità, degradando una modalità.
- VLM2Rec promuove un utilizzo bilanciato delle modalità.
- Il paper propone un meccanismo chiamato 'Weak-modality Penaliz'.
- Motivato dall'uso degli LLM come embedder ad alta capacità.
- Obiettivo: integrare completamente i segnali di filtraggio collaborativo nelle rappresentazioni degli elementi.
- Preprint annunciato come replace-cross.
Entità
Istituzioni
- arXiv