TransVLM: Un Framework Visione-Linguaggio per il Rilevamento delle Transizioni di Inquadratura
I ricercatori hanno introdotto TransVLM, un nuovo framework di Modello Visione-Linguaggio progettato per rilevare le transizioni di inquadratura nei video, superando il tradizionale Shot Boundary Detection (SBD) che si concentra sui punti di taglio isolati. Il nuovo compito, Shot Transition Detection (STD), identifica esplicitamente segmenti temporali continui di transizioni. TransVLM incorpora il flusso ottico come priorità di movimento nella fase di input, utilizzando una strategia di fusione delle caratteristiche che combina rappresentazioni di colore e movimento per migliorare la consapevolezza temporale senza sovraccarico aggiuntivo di token visivi. Il lavoro è dettagliato in un articolo su arXiv (2604.27975).
Fatti principali
- TransVLM è un framework di Modello Visione-Linguaggio per lo Shot Transition Detection (STD).
- STD rileva esplicitamente segmenti temporali continui di transizioni, a differenza del tradizionale SBD.
- Il flusso ottico viene iniettato come priorità di movimento nella fase di input.
- Una strategia di fusione delle caratteristiche concatena rappresentazioni di colore e movimento.
- Non si verifica alcun sovraccarico aggiuntivo di token visivi sul backbone linguistico.
- L'articolo è disponibile su arXiv con ID 2604.27975.
- L'approccio affronta le limitazioni del tradizionale SBD con transizioni complesse.
- TransVLM migliora la consapevolezza temporale per le dinamiche inter-inquadratura a grana fine.
Entità
Istituzioni
- arXiv