TransSLR: Trasformatore Leggero per il Riconoscimento della Lingua dei Segni
Un nuovo modello di trasformatore leggero, TransSLR, è stato sviluppato per affrontare la sfida del riconoscimento automatico della lingua dei segni per lingue sottorappresentate, in particolare la Lingua dei Segni Centrafricana (CASL). Il modello, addestrato da zero su sequenze di pose normalizzate a 64 frame, raggiunge una generalizzazione indipendente dal firmatario senza fare affidamento sull'aspetto visivo. La ricerca evidenzia il fallimento del fine-tuning di modelli ad alte risorse a causa della scala limitata dei dati CASL e del significativo divario di dominio tra CASL e corpora su larga scala come WLASL. La migliore accuratezza riportata sul benchmark CASL-W60 è del 69,93% e TransSLR mira a migliorare questo risultato. Lo studio è disponibile su arXiv con identificativo 2608.06407.
Fatti principali
- TransSLR è un Encoder Trasformatore Temporale Leggero.
- È addestrato su sequenze di pose normalizzate a 64 frame.
- Utilizza average pooling e una testa di classificazione.
- Opera su rappresentazioni geometriche dei keypoint piuttosto che su RGB grezzo.
- Si rivolge alla Lingua dei Segni Centrafricana (CASL).
- Il benchmark CASL-W60 ha una migliore accuratezza riportata del 69,93%.
- Il fine-tuning di modelli ad alte risorse non riesce a colmare il divario di accuratezza.
- Il modello è addestrato da zero per evitare di fare affidamento su rappresentazioni pre-addestrate.
Entità
—