Tamaththul3D: Avatar 3D ad alta fedeltà della Lingua dei Segni Saudita da video monoculari
Un nuovo sistema di ricostruzione chiamato Tamaththul3D è stato sviluppato da ricercatori per creare avatar 3D ad alta fedeltà della Lingua dei Segni Saudita (SSL) a partire da video monoculari. Questa innovazione colma una lacuna significativa nella tecnologia della Lingua dei Segni Araba (ArSL), che serve circa 400 milioni di parlanti arabi a livello globale, ma manca di metodi efficaci di ricostruzione 3D e annotazioni parametriche di alta qualità. Il team ha prodotto le prime annotazioni parametriche 3D di alta qualità per il dataset Ishara-500 SSL, dettagliando parametri SMPL-X accurati per 500 segni SSL culturalmente rilevanti. Tamaththul3D impiega SMPLer-X per la stima del corpo, WiLoR per un raffinamento avanzato delle mani e MediaPipe per la supervisione della posa 2D, raggiungendo un'accuratezza delle mani all'avanguardia attraverso tecniche avanzate. Questo progresso è cruciale per migliorare la visibilità e l'accessibilità della Lingua dei Segni Saudita negli ambienti digitali.
Fatti principali
- Tamaththul3D è un sistema di ricostruzione per avatar 3D SSL da video monoculari.
- Fornisce le prime annotazioni parametriche 3D di alta qualità per il dataset Ishara-500 SSL.
- Il dataset include parametri SMPL-X precisi per 500 segni SSL culturalmente autentici.
- Il sistema integra SMPLer-X, WiLoR e MediaPipe.
- Utilizza l'allineamento del polso basato su catena cinematica con decomposizione ibrida swing-twist.
- Il lavoro colma una lacuna per 400 milioni di parlanti arabi.
- La ricerca è pubblicata su arXiv con ID 2605.05367.
- Il sistema raggiunge un'accuratezza delle mani all'avanguardia.
Entità
Istituzioni
- arXiv
Luoghi
- Saudi Arabia