Stima del Contributo dei Clienti senza Dati in Federated Learning tramite Entropia di von Neumann del Gradiente
È stata sviluppata una nuova tecnica per stimare i contributi dei clienti in Federated Learning che non dipende da dataset di validazione o dati auto-riportati. Questo metodo sfrutta l'entropia di von Neumann (spettrale) della matrice degli aggiornamenti del gradiente dell'ultimo strato per valutare la diversità delle informazioni fornite. Vengono proposte due implementazioni pratiche: SpectralFed, che utilizza l'entropia normalizzata come peso per l'aggregazione, e SpectralFuse, che integra l'entropia con l'allineamento specifico per classe tramite un filtro di Kalman adattivo al rango per garantire stabilità in ogni round. Testato su benchmark come CIFAR-10/100, FEMNIST e FedISIC, i punteggi derivati dall'entropia mostrano una forte correlazione con l'accuratezza individuale dei clienti in varie distribuzioni di dati non IID, eliminando la necessità di dati di validazione o metadati dei clienti.
Fatti principali
- Il metodo utilizza l'entropia di von Neumann della matrice dei gradienti dell'ultimo strato
- Due schemi: SpectralFed e SpectralFuse
- SpectralFuse utilizza un filtro di Kalman adattivo al rango
- Valutato su CIFAR-10/100, FEMNIST, FedISIC
- Nessun dato di validazione o metadati dei clienti necessari
- Alta correlazione con l'accuratezza standalone dei clienti
- Affronta problemi di privacy e manipolazione
- Segnale senza dati per la stima del contributo
Entità
—