PushCen-ADFL: Correzione del Bias per l'Apprendimento Federato Asincrono
Uno studio recente pubblicato su arXiv introduce PushCen-ADFL, un framework innovativo per l'apprendimento federato decentralizzato asincrono (ADFL) che migliora l'efficienza della comunicazione. Questo framework affronta problemi come gli alti costi di comunicazione, l'aggregazione distorta e il significativo drift del modello, che derivano da frequenti interazioni peer-to-peer, aggiornamenti asincroni su reti dirette e dati non IID. Integrando comunicazione, aggregazione e stabilizzazione locale in uno spazio di rappresentazione centroid condiviso, crea un ciclo di feedback tra compressione e ottimizzazione. I client condividono messaggi in forma di centroide, utilizzano la miscelazione push-sum a conservazione media per correggere il bias di aggregazione e implementano una regolarizzazione leggera del centroide per ridurre il drift in presenza di eterogeneità e comunicazione non uniforme. L'articolo completo è disponibile su https://arxiv.org/abs/2605.26162.
Fatti principali
- L'articolo propone PushCen-ADFL per l'apprendimento federato decentralizzato asincrono.
- Affronta il sovraccarico di comunicazione, l'aggregazione distorta e il drift del modello.
- Utilizza uno spazio di rappresentazione centroid condiviso per accoppiare comunicazione, aggregazione e stabilizzazione.
- I client scambiano messaggi in forma di centroide.
- Applica la miscelazione push-sum a conservazione media per correggere il bias di aggregazione.
- Utilizza la regolarizzazione del centroide per mitigare il drift.
- ID articolo arXiv: 2605.26162.
- Pubblicato su arXiv.
Entità
Istituzioni
- arXiv