NVIDIA Magpie TTS: Intelligenza Vocale Multilingue Open-Weight con Bassa Latenza
NVIDIA ha introdotto Magpie Multilingual TTS, un modello di sintesi vocale con 364 milioni di parametri e pesi aperti, in grado di supportare 12 lingue: inglese, spagnolo, francese, tedesco, italiano, vietnamita, mandarino, hindi, giapponese, arabo moderno standard, coreano e portoghese brasiliano. Questo modello offre sia voci maschili che femminili, migliora il code-switching specificamente per hindi e giapponese, ed è progettato per la generazione vocale in tempo reale. Le tecniche chiave includono frame stacking e un trasformatore locale, come descritto nell'articolo 'Frame-Stacked Local Transformers for Efficient Multi-Codebook Speech Generation' (ICASSP 2026). Vanta un Time to First Audio (TTFA) di 32 ms sulla GPU B200 ed è disponibile su Hugging Face e come contenitore NVIDIA NIM, migliorando la qualità di sintesi e riducendo i tassi di errore carattere per le nuove lingue. Magpie fa parte dell'NVIDIA Nemotron Voice Agent Developer Example.
Fatti principali
- NVIDIA Magpie Multilingual TTS è un modello open-weights con 364 milioni di parametri.
- Supporta 12 lingue: inglese, spagnolo, francese, tedesco, italiano, vietnamita, mandarino, hindi, giapponese, arabo moderno standard, coreano e portoghese brasiliano.
- Nuove lingue aggiunte: arabo moderno standard, coreano e portoghese brasiliano.
- Raggiunge un TTFA di 32 ms su B200 per flusso singolo; 239 ms con 64 flussi concorrenti con throughput 320x in tempo reale.
- L'architettura include frame stacking e trasformatore locale per bassa latenza e alta qualità.
- Disponibile su Hugging Face con licenza NVIDIA Open Model License e come contenitore NVIDIA NIM.
- Fa parte dell'NVIDIA Nemotron Voice Agent Developer Example per la creazione di agenti vocali completi.
- Qualità migliorata per francese e spagnolo con CER ridotto e SSIM più elevato.
Entità
Istituzioni
- NVIDIA
- Hugging Face