Google DeepMind lancia SL2T: l'IA per la lingua dei segni arriva su Pixel 11
Google DeepMind ha introdotto un nuovo modello per tradurre la lingua dei segni in testo, noto come sistema multilingue di traduzione da lingua dei segni a testo (SL2T). Questa innovazione integra l'IA per la lingua dei segni in applicazioni consumer come Gboard e Live Transcribe su Pixel 11, inizialmente concentrandosi sull'American Sign Language (ASL) verso l'inglese. Le persone sorde possono ora comunicare tramite la lingua dei segni con i loro telefoni per attività come ricerche web e messaggistica. Il modello SL2T è stato sviluppato utilizzando oltre 100.000 ore di dati provenienti da 50 diverse lingue dei segni, interpretando la lingua dei segni attraverso punti di riferimento della posa, garantendo al contempo la privacy dell'utente omettendo il video. Raggiunge un impressionante punteggio BLEURT zero-shot di 70, superando i record precedenti. Il processo di sviluppo ha incluso approfondimenti dalla comunità sorda, facilitati dal Comitato Consultivo sull'IA per la Lingua dei Segni (AISLAC). SL2T è offerto su Pixel 11 senza costi aggiuntivi, con piani futuri per più lingue e dispositivi.
Fatti principali
- Google DeepMind introduce SL2T, un modello di traduzione da lingua dei segni a testo.
- SL2T alimenta la dettatura da segni a testo in Gboard e Live Transcribe su Pixel 11, iniziando con ASL verso l'inglese.
- Il modello è addestrato su oltre 100.000 ore di dati provenienti da più di 50 lingue dei segni.
- SL2T raggiunge un punteggio zero-shot di 70 BLEURT sul benchmark FLEURS-ASL.
- Il modello utilizza punti di riferimento della posa invece del feed video grezzo per la privacy.
- SL2T traduce direttamente dai punti di riferimento, bypassando le glosse.
- Il Comitato Consultivo sull'IA per la Lingua dei Segni (AISLAC) è stato istituito per un'implementazione responsabile.
- La funzionalità è disponibile senza costi aggiuntivi su Pixel 11, con più dispositivi in arrivo.
Entità
Artisti
- Sam Sepah
Istituzioni
- Google DeepMind
- Android
- Gboard
- Live Transcribe
- Pixel 11
- Gemini
- MediaPipe Holistic
- AI Sign Language Advisory Committee (AISLAC)