StreamSplit: Apprendimento Audio Adattivo per Dispositivi Edge
StreamSplit è un nuovo framework per l'apprendimento continuo della rappresentazione audio su dispositivi edge, che affronta l'incompatibilità dell'apprendimento contrastivo con grandi batch in ambienti con risorse limitate. Introduce un approccio basato su distribuzioni con una Hybrid Loss per disaccoppiare la qualità della rappresentazione dalla dimensione locale del batch, consentendo un apprendimento contrastivo in streaming pratico su piattaforme ARM eterogenee. Il framework si rivolge a modelli come CLAP e COLA, adattandosi alla volatilità runtime senza compressione statica.
Fatti principali
- StreamSplit è un framework per l'apprendimento contrastivo in streaming su dispositivi edge.
- Affronta il conflitto tra audio continuo e requisiti di batch discreti.
- Utilizza un framework di streaming basato su distribuzioni con Hybrid Loss.
- Si rivolge a piattaforme client ARM.
- Funziona con modelli come CLAP e COLA.
- Disaccoppia la qualità della rappresentazione dalla dimensione locale del batch.
- Si adatta alla volatilità runtime degli ambienti edge.
- Pubblicato su arXiv con ID 2605.26523.
Entità
Istituzioni
- arXiv