Break-the-Beat! Modello sintetizza audio di batteria da MIDI
I ricercatori hanno sviluppato 'Break-the-Beat!', un modello che genera audio di batteria da input MIDI utilizzando un timbro audio di riferimento. Costruito perfezionando un modello text-to-audio pre-addestrato con un codificatore di contenuto e un meccanismo di condizionamento ibrido, affronta la mancanza di controllo specifico nella creazione di loop di batteria. Un nuovo dataset di coppie di audio di batteria target-riferimento è stato costruito a partire da dataset esistenti. Gli esperimenti mostrano audio di alta qualità che segue pattern di batteria ad alta risoluzione.
Fatti principali
- 1. Break-the-Beat! è un modello per la sintesi audio di batteria da MIDI.
- 2. Utilizza un timbro audio di riferimento per rendere il MIDI di batteria.
- 3. Il modello perfeziona un modello text-to-audio pre-addestrato.
- 4. Impiega un codificatore di contenuto e un meccanismo di condizionamento ibrido.
- 5. È stato creato un nuovo dataset di coppie di audio di batteria target-riferimento.
- 6. Gli esperimenti dimostrano la generazione di audio di batteria di alta qualità.
- 7. Il modello affronta la sintesi di batteria polifonica e percussiva.
- 8. I metodi attuali come i campioni one-shot richiedono uno sforzo non banale.
Entità
Istituzioni
- arXiv