Il miglioramento della parafrasi con GPT-4o migliora la traduzione della lingua dei segni
Ricercatori dell'Università del Surrey e collaboratori hanno introdotto l'aumento della parafrasi lato target per la traduzione della lingua dei segni (SLT), utilizzando GPT-4o per generare varianti controllate di frasi di riferimento mantenendo invariati i video dei segni. Un Transformer basato su pose stile Signformer viene addestrato in due fasi: pre-addestramento su dati aumentati, poi messa a punto sui riferimenti originali. Valutato su tre dataset—PHOENIX14T (lingua dei segni tedesca), GSL (lingua dei segni greca) e LSA-T (lingua dei segni argentina)—il metodo ha migliorato BLEU-4 da 9.56 a 10.33 su PHOENIX14T. Tuttavia, GSL quasi saturato e LSA-T estremamente sparso hanno rivelato limiti. Questo è il primo studio ad applicare l'aumento della parafrasi basato su LLM alla SLT, affrontando corpora accoppiati limitati e vocabolari a coda pesante.
Fatti principali
- L'aumento della parafrasi lato target utilizza GPT-4o per generare varianti controllate di frasi di riferimento.
- L'input dei segni rimane invariato durante l'aumento.
- Un Transformer basato su pose stile Signformer viene addestrato con un programma a due fasi: pre-addestramento sul corpus aumentato, messa a punto sui riferimenti originali.
- Valutato su tre dataset: PHOENIX14T (lingua dei segni tedesca), GSL (lingua dei segni greca), LSA-T (lingua dei segni argentina).
- Su PHOENIX14T, BLEU-4 è migliorato da 9.56 a 10.33.
- Il baseline GSL era quasi saturato; LSA-T presentava una grave scarsità a coda lunga.
- Primo studio ad applicare l'aumento della parafrasi basato su LLM alla traduzione della lingua dei segni.
- Affronta corpora accoppiati segni-video/testo limitati e vocabolari target a coda pesante.
Entità
Istituzioni
- University of Surrey
- arXiv