Distillazione Generativa di Dataset Guidata da Rappresentazioni Auto-Supervisionate

Un nuovo approccio per la distillazione di dataset, denominato distillazione generativa di dataset guidata da rappresentazioni auto-supervisionate (SRG), è stato introdotto in un articolo arXiv (2608.03218). Questa tecnica supera le limitazioni degli attuali metodi di distillazione, che generalmente si concentrano su reti inizializzate casualmente, mentre i sistemi di visione contemporanei utilizzano frequentemente encoder pre-addestrati congelati accoppiati a adattatori leggeri. SRG cerca di mantenere la geometria discriminativa dello spazio delle rappresentazioni pre-addestrate convertendo la geometria dell'apprendimento auto-supervisionato (SSL) in guida per la diffusione. Genera prototipi per classe dalle rappresentazioni SSL di immagini reali e implementa tre obiettivi nello spazio SSL: allineamento dei prototipi, discriminazione inter-classe e assegnazione intra-classe. Durante la fase di campionamento della diffusione, SRG impiega un approccio di guida a fasi, collegando la denoising iniziale al latente del prototipo. Questa strategia mira a produrre dataset sintetici che preservino l'efficacia dei dati originali per applicazioni a valle, specialmente quando si adattano encoder congelati. L'articolo è classificato come annuncio di tipo incrociato e può essere accessibile tramite il link arXiv fornito.