S-SONDO: Prima distillazione della conoscenza auto-supervisionata per modelli audio foundation

Un nuovo framework chiamato S-SONDO (Self-Supervised KnOwledge DistillatioN for General AuDio FOundation Models) è stato sviluppato dai ricercatori per distillare modelli audio foundation generali esclusivamente dai loro embedding di output. Questo metodo innovativo è agnostico rispetto all'architettura, eliminando la necessità di logit o allineamento a livello di layer, rendendolo adatto per modelli basati su embedding come modelli auto-supervisionati o di metric-learning. Viene affrontata la sfida posta dai grandi modelli audio all'avanguardia, che possono contenere centinaia di milioni di parametri, poiché questi modelli spesso comportano costi di inferenza elevati e sono difficili da distribuire su dispositivi edge. Le tecniche tradizionali di distillazione della conoscenza audio si sono concentrate su ambienti supervisionati, spesso dipendendo da logit di classe o metodi architetturali specifici, che non si adattano a modelli che producono solo embedding. S-SONDO risolve efficacemente questo problema, consentendo la compressione del modello senza bisogno di accedere alle strutture interne. Il documento di ricerca è disponibile su arXiv con ID 2604.24933.