Transformer con Consapevolezza della Sparsità degli Eventi per il Tracciamento Visivo di Oggetti

I ricercatori propongono un Transformer Mixture-of-Experts con consapevolezza della sparsità per il tracciamento visivo di oggetti basato su eventi. Le telecamere a eventi, che catturano cambiamenti asincroni di luminosità, offrono vantaggi rispetto alle RGB in condizioni di scarsa illuminazione e movimento rapido. I tracciatori esistenti spesso ignorano la sparsità spaziale e la densità temporale dei dati degli eventi, utilizzando una strategia di campionamento a finestra temporale fissa. Il nuovo framework modella le variazioni di densità degli eventi su più scale temporali, iniettando regioni di eventi sparse, a media densità e dense in un backbone Vision Transformer a tre stadi per l'apprendimento gerarchico di caratteristiche multi-densità. Un meccanismo di routing consapevole della sparsità seleziona adattivamente l'esperto più rilevante per ciascuna regione. Esperimenti sui dataset FE108, VisEvent e COESOT mostrano prestazioni all'avanguardia, in particolare in condizioni difficili. Il lavoro affronta una limitazione chiave nel tracciamento basato su eventi sfruttando le proprietà uniche dei dati degli eventi.