Benchmark Guidato da HamNoSys per il Riconoscimento Fine delle Forme della Mano nella Lingua dei Segni
È stato stabilito un nuovo standard per il riconoscimento dettagliato delle forme della mano nella lingua dei segni, basato sul Sistema di Notazione di Amburgo (HamNoSys). Questo dataset include 144.000 immagini RGB provenienti da 15 individui, comprendente 160 categorie di forme della mano come delineato nella Tabella Ufficiale delle Forme della Mano HamNoSys 4. La ricerca esamina modelli basati sull'aspetto (ResNet-18 e ViT-B/16) insieme a modelli basati su landmark (rete convoluzionale a grafo e XGBoost) utilizzando due metodi: una divisione stratificata per classe dipendente dal soggetto e un approccio leave-one-subject-out (LOSO) a 15 pieghe. Inoltre, gli stessi tipi di modelli vengono testati su dataset esterni (LSWH100 e ASL Fingerspelling Dataset A) per un ulteriore contesto. Questo studio soddisfa la richiesta di inventari visivi estesi e foneticamente definiti che incorporano valutazioni sensibili al firmatario nei compiti computazionali di lingua dei segni. L'articolo completo è disponibile su arXiv (2608.10588).
Fatti principali
- Dataset: 144.000 immagini RGB
- Partecipanti: 15
- Classi di forme della mano: 160
- Definite dalla Tabella Ufficiale delle Forme della Mano HamNoSys 4
- Modelli: ResNet-18, ViT-B/16, rete convoluzionale a grafo, XGBoost
- Protocolli: divisione stratificata per classe dipendente dal soggetto e leave-one-subject-out (LOSO) a 15 pieghe
- Dataset esterni: LSWH100 e ASL Fingerspelling Dataset A
- Articolo: arXiv:2608.10588
Entità
Istituzioni
- arXiv