Il modello a sequenze multi-stadio di Meta raggiunge lo scaling stile LLM per il ranking degli annunci

Meta ha presentato una nuova architettura di modello a sequenze multi-stadio progettata per i suoi sistemi di ranking pubblicitario, dimostrando leggi di scaling prevedibili simili a quelle dei LLM. Questa architettura separa la modellazione dell'utente offline dal ranking online, facilitando lo scaling efficiente dei modelli a sequenze basati su transformer. Utilizzando una tokenizzazione densa e un'attenzione target-aware, il modello può apprendere direttamente le interazioni tra le caratteristiche dai dati, riducendo al minimo la necessità di ingegneria manuale delle caratteristiche. Come parte vitale del Modello Generativo di Raccomandazione degli Annunci (GEM) di Meta, questa piattaforma ha portato a un aumento del 6% delle conversioni su Instagram, del 3% su Facebook e a un aumento del 3,5% dei clic sugli annunci di Facebook. Il modello elabora in modo asincrono ampie storie degli utenti per creare embedding memorizzati nella cache, mentre i modelli di ranking online utilizzano segnali freschi per il punteggio in tempo reale. Gli elementi chiave di scaling includono forma bilanciata del modello, regolabilità multi-stadio, composizione delle sequenze e rappresentazione semantica delle caratteristiche. Queste intuizioni sono elaborate nel documento 'LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation'.