Nuovo Algoritmo di Apprendimento Federato FedOBP Introduce Metodo di Personalizzazione Elemento per Elemento
I ricercatori hanno sviluppato FedOBP (Federated Optimal Brain Personalization), un nuovo algoritmo che affronta le sfide nell'Apprendimento Federato. L'approccio risolve l'eterogeneità dei dati tra i dispositivi client e le risorse mobili limitate che possono compromettere l'accuratezza del modello. FedOBP utilizza un meccanismo di soglia basato sui quantili e introduce un punteggio di importanza elemento per elemento per la valutazione dei parametri. Questo punteggio estende la teoria del pruning Optimal Brain Damage incorporando un'approssimazione federata delle derivate di primo ordine dagli sviluppi di Taylor. L'algoritmo si concentra sul disaccoppiamento del modello, separando i parametri globali e personalizzati per bilanciare la condivisione della conoscenza con l'adattamento locale. L'Apprendimento Federato Personalizzato adatta la conoscenza globale condivisa a specifiche distribuzioni di dati locali. Il documento è stato annunciato su arXiv con identificatore 2604.16574v1. FedOBP determina quali parametri dovrebbero essere personalizzati per ottimizzare le prestazioni in diversi ambienti client.
Fatti principali
- L'algoritmo FedOBP affronta le sfide dell'Apprendimento Federato derivanti dall'eterogeneità dei dati client
- L'Apprendimento Federato Personalizzato adatta la conoscenza globale alle distribuzioni di dati locali
- L'algoritmo utilizza un meccanismo di soglia basato sui quantili
- Introduce un punteggio di importanza elemento per elemento per la valutazione dei parametri
- Estende la teoria del pruning Optimal Brain Damage con un'approssimazione federata
- Incorpora la derivata di primo ordine dallo sviluppo di Taylor
- Si concentra sul disaccoppiamento del modello separando i parametri globali e personalizzati
- Documento annunciato su arXiv con identificatore 2604.16574v1
Entità
Istituzioni
- arXiv