Memoria Entità-Centrica per la Generazione Coerente di Video Multi-Inquadratura

La tecnica innovativa nota come EM-Vid presenta un framework di memoria entità-centrica per generare video multi-inquadratura. Questo metodo affronta il problema di garantire che le entità ricorrenti mantengano un aspetto coerente tra diverse inquadrature, seguendo al contempo specifici prompt testuali per ciascuna inquadratura. A differenza delle recenti tecniche autoregressive che utilizzano fotogrammi completi per la memoria, causando perdita di informazioni e maggiori richieste computazionali, EM-Vid si basa su una raccolta di patch latenti indicizzate per entità. Incorpora un condizionamento sparso di token che si allinea con modelli pre-addestrati, limitando l'auto-attenzione ai token rilevanti per le entità per migliorare l'efficienza. L'approccio presenta anche un formato strutturato di script multi-inquadratura, una strategia di aggiornamento della memoria per una memoria compatta in evoluzione e un meccanismo di iniezione di rumore per un controllo preciso dell'aspetto. Questa ricerca è disponibile su arXiv con ID 2605.23610.