RE-VLM: Primo VLM a Doppio Flusso per la Comprensione di Scene con Telecamere ad Eventi
Un team di ricercatori ha presentato RE-VLM, il primo modello visione-linguaggio a doppio flusso progettato per analizzare simultaneamente immagini RGB e flussi di eventi, migliorando la comprensione delle scene in condizioni difficili come scarsa illuminazione, elevata gamma dinamica o movimento rapido. Le telecamere ad eventi catturano variazioni di luminosità per pixel con eccezionale risoluzione temporale e un'ampia gamma dinamica, mantenendo informazioni sul movimento dove le immagini RGB tradizionali falliscono. RE-VLM presenta encoder RGB e di eventi concorrenti e utilizza un approccio di addestramento progressivo per armonizzare diverse caratteristiche visive con il linguaggio. Per affrontare la mancanza di supervisione RGB-Evento-Testo, i ricercatori presentano un metodo basato su grafi che trasforma flussi sincronizzati RGB-Evento in grafi di scena affidabili per generare dati sintetici. Questa ricerca appare su arXiv (2605.19329) e mira a migliorare l'efficacia dei VLM in scenari difficili.
Fatti principali
- RE-VLM è il primo modello visione-linguaggio a doppio flusso che combina flussi RGB e di eventi.
- Le telecamere ad eventi registrano cambiamenti di luminosità per pixel in modo asincrono con alta risoluzione temporale e ampia gamma dinamica.
- Le immagini RGB standard degradano in condizioni avverse come scarsa illuminazione, elevata gamma dinamica o movimento rapido.
- RE-VLM utilizza encoder RGB e di eventi paralleli con una strategia di addestramento progressivo.
- Una pipeline basata su grafi converte flussi sincronizzati RGB-Evento in grafi di scena verificabili.
- La pipeline affronta la scarsità di supervisione RGB-Evento-Testo.
- L'articolo è pubblicato su arXiv con identificatore 2605.19329.
- Il modello mira a una robusta comprensione delle scene sia in condizioni normali che difficili.
Entità
Istituzioni
- arXiv