MAEPose: Stima della posa umana auto-supervisionata da video mmWave

I ricercatori hanno sviluppato MAEPose, un nuovo approccio per la stima della posa umana utilizzando video radar a onde millimetriche (mmWave), che offre un'alternativa che preserva la privacy rispetto ai metodi basati su RGB. A differenza delle tecniche esistenti che si basano su rappresentazioni intermedie pre-estratte come nuvole di punti sparse o immagini spettrogrammatiche, che scartano ricche informazioni spazio-temporali e aumentano la complessità del sistema, MAEPose opera direttamente su video spettrogrammatici mmWave grezzi. Impiega l'auto-codifica mascherata per apprendere rappresentazioni generalizzate spazio-temporali sensibili al movimento da video radar non etichettati, utilizzando un decodificatore di mappe di calore per previsioni di stima della posa multi-frame. Il metodo è stato valutato su tre dataset, dimostrando la sua efficacia. Questo lavoro affronta i limiti degli approcci supervisionati end-to-end sfruttando dati non etichettati per apprendere rappresentazioni robuste, potenzialmente avanzando applicazioni attente alla privacy in sanità, sorveglianza e interazione uomo-computer.