S2ST-Omni 2: Condizionamento Linguistico Strutturato per la Traduzione Multilingue del Parlato

I ricercatori propongono S2ST-Omni 2, un framework compositivo many-to-one per la traduzione da parlato a parlato (S2ST) che sostituisce le etichette linguistiche piatte con priori tipologici strutturati. Questa riformulazione affronta il limite dei sistemi S2ST esistenti che trascurano le informazioni della lingua sorgente o le codificano come embedding indipendenti piatti, trascurando le strutture linguistiche sistematiche condivise tra le lingue. L'approccio opera a tre livelli: codifica linguistica gerarchica basata sulla tipologia, adattamento linguistico con gating dinamico e condizionamento strutturato per l'adattamento multilingue. Il framework mira a migliorare l'adattamento multilingue efficiente in termini di dati quando i dati S2ST supervisionati sono scarsi. Il lavoro è pubblicato su arXiv con identificatore 2605.16026.