Apprendimento per Trasferimento Cross-Segno Utilizzando l'Adattamento di Dominio con Allineamento Temporale Multi-scala
Un metodo innovativo per il riconoscimento della lingua dei segni è stato sviluppato da ricercatori, utilizzando tecniche di apprendimento per trasferimento e adattamento di dominio. Questo approccio, noto come TA3N, incorpora un modulo di Rete Relazionale Temporale (TRN) per sincronizzare le relazioni temporali multi-scala. Pubblicato su arXiv (2608.16804), lo studio affronta la critica carenza di risorse per il riconoscimento di oltre 100 lingue dei segni. I risultati indicano che l'adattamento di dominio supera l'apprendimento per trasferimento basato su reti neurali tradizionali, migliorando in particolare il riconoscimento della Lingua dei Segni Americana (ASL). La ricerca sottolinea l'importanza di allineare le caratteristiche temporali a breve termine tra dominio sorgente e dominio target. Gli esperimenti sono stati condotti utilizzando sia la modalità RGB che quella del Flusso Ottico, con RGB che ha mostrato prestazioni migliori nella maggior parte dei casi. L'obiettivo finale è migliorare l'accessibilità per le persone con disabilità uditive.
Fatti principali
- Lo studio utilizza l'apprendimento per trasferimento e il metodo di adattamento di dominio TA3N per il riconoscimento della lingua dei segni.
- TA3N utilizza il modulo Rete Relazionale Temporale (TRN) per allineare le relazioni temporali multi-scala.
- L'adattamento di dominio supera l'apprendimento per trasferimento basato su reti neurali, specialmente per la Lingua dei Segni Americana (ASL).
- Allineare le caratteristiche temporali a breve termine tra dominio sorgente e dominio target è efficace.
- Gli esperimenti sono stati condotti utilizzando le modalità RGB e Flusso Ottico.
- RGB supera il Flusso Ottico nella maggior parte dei casi.
- La ricerca affronta la mancanza di risorse per il riconoscimento di oltre 100 lingue dei segni distinte.
- Il lavoro mira a migliorare l'accessibilità per le persone con disabilità uditive.
Entità
Istituzioni
- arXiv