Articolo arXiv Identifica un Bias di Sincronizzazione nei Sistemi di Apprendimento Federato
Il 26 aprile 2024 è stato pubblicato su arXiv un articolo tecnico che esamina una vulnerabilità nei sistemi di Apprendimento Federato (FL), in particolare nel metodo Probabilistic Synchronous Parallel (PSP). Questa tecnica mira ad alleviare i ritardi di sincronizzazione selezionando un sottoinsieme di nodi. Tuttavia, gli autori sostengono che il PSP presuppone comportamenti statici e indipendenti dai dispositivi, determinando una sincronizzazione distorta in cui i nodi più affidabili dominano il processo di addestramento. Di conseguenza, i dispositivi spesso non disponibili rischiano di vedere i loro dati esclusi. Lo studio rivela una situazione in cui la disponibilità dei nodi si correla con la distribuzione dei dati, potenzialmente portando alla sotto-rappresentazione di determinate classi di dati, che può ostacolare l'apprendimento efficace di caratteristiche specifiche. L'articolo, arXiv:2604.16090v1, sottolinea come i guasti correlati dei dispositivi possano distorcere il processo di apprendimento.
Fatti principali
- L'articolo è stato pubblicato su arXiv il 26 aprile 2024.
- Analizza la tecnica Probabilistic Synchronous Parallel (PSP) nell'Apprendimento Federato.
- Il PSP mira a ridurre i colli di bottiglia di sincronizzazione campionando un sottoinsieme di nodi per round.
- I sistemi FL spesso coinvolgono dispositivi edge inaffidabili a causa di mobilità e vincoli energetici.
- Il PSP presuppone che il comportamento del dispositivo sia statico e indipendente, che l'articolo identifica come una limitazione chiave.
- Questa ipotesi può portare a una sincronizzazione iniqua, con nodi altamente disponibili che dominano l'addestramento.
- Se la distribuzione dei dati e la disponibilità dei nodi sono correlate, alcune classi possono essere persistentemente sottorappresentate.
- Questa sotto-rappresentazione può causare un apprendimento inefficiente o inefficace di caratteristiche specifiche del modello.
Entità
Istituzioni
- arXiv