UniSonate: Modello AI Unificato Genera Parlato, Musica ed Effetti Sonori dal Testo

I ricercatori hanno creato un nuovo framework chiamato UniSonate, che mira a semplificare il processo di generazione di parlato, musica ed effetti sonori utilizzando un'interfaccia in linguaggio naturale che non richiede un riferimento. Questo modello affronta la frammentazione nell'audio generativo, tipicamente suddiviso in compiti come text-to-speech (TTS), text-to-music (TTM) e text-to-audio (TTA), ciascuno con i propri controlli. UniSonate collega forme strutturate come parlato e musica con suoni più caotici, utilizzando una tecnica unica di iniezione dinamica di token. Ciò consente un controllo preciso sulla durata del suono all'interno di un Multimodal Diffusion Transformer (MM-DiT) guidato da fonemi e utilizza un approccio di apprendimento curricolare a più fasi. Lo studio è stato pubblicato su arXiv con l'ID 2604.22209.