Riconoscimento dei gesti della mano online mediante CNN 3D
Un nuovo sistema per il riconoscimento in tempo reale dei gesti della mano che utilizza reti neurali convoluzionali 3D raggiunge oltre il 98% di precisione sul dataset Jester per il rilevamento e oltre il 90% per la classificazione. Il sistema impiega un approccio a finestra scorrevole per affinare i risultati provenienti da più finestre, consentendo la localizzazione e il riconoscimento dei gesti in flussi video in diretta. Su un dataset fatto in casa, la configurazione migliore raggiunge una precisione di Levenshtein del 37,5% con un tempo di risposta inferiore a tre secondi. Il progetto mira ad affrontare le sfide nell'interazione uomo-computer, come le prestazioni in tempo reale e la variabilità nell'esecuzione dei gesti. Il codice è disponibile pubblicamente.
Fatti principali
- Il sistema utilizza reti neurali convoluzionali 3D per il riconoscimento dei gesti della mano.
- Raggiunge oltre il 98% di precisione per il rilevatore e oltre il 90% per il classificatore sul database Jester.
- L'approccio a finestra scorrevole affina i risultati provenienti da più finestre.
- Il miglior gruppo risponde entro tre secondi sul dataset fatto in casa.
- Precisione di Levenshtein del 37,5% sul dataset fatto in casa.
- Progettato per l'elaborazione di flussi video in tempo reale.
- Affronta la variabilità nel modo in cui le persone eseguono i gesti.
- I codici del progetto sono disponibili pubblicamente.
Entità
Istituzioni
- arXiv