COMODO Framework Consente un Riconoscimento Efficiente delle Attività Umane tramite Trasferimento di Conoscenza da Video a IMU

Un nuovo framework di ricerca chiamato COMODO affronta le limitazioni dei sistemi di riconoscimento delle attività umane indossabili trasferendo conoscenza semantica dai video alle unità di misura inerziale senza dati etichettati. I modelli video egocentrici catturano informazioni ricche ma soffrono di elevato consumo energetico, problemi di privacy e dipendenze dall'illuminazione, rendendo impraticabile il riconoscimento continuo sul dispositivo. Al contrario, i sensori IMU sono efficienti dal punto di vista energetico e rispettosi della privacy, ma mancano di dataset annotati su larga scala, risultando in una generalizzazione più debole. COMODO colma questa lacuna attraverso la distillazione auto-supervisionata cross-modale, utilizzando un codificatore video pre-addestrato e congelato per allineare le distribuzioni delle feature tra gli embedding video e IMU. Questo approccio costruisce una coda di istanze dinamica per facilitare il trasferimento di conoscenza, consentendo una comprensione più efficiente delle attività per i sistemi indossabili centrati sull'uomo. La ricerca è stata pubblicata su arXiv con identificatore 2503.07259v2, classificata come annuncio di sostituzione cross.