Fed-FSTQ: Quantizzazione dei Token Guidata da Fisher per il Fine-Tuning Federato Efficiente di LLM
Un nuovo metodo, Fed-FSTQ, affronta i colli di bottiglia nella comunicazione durante il fine-tuning federato di grandi modelli linguistici (LLM) su dispositivi edge. Il sistema utilizza un proxy Fisher leggero per stimare la sensibilità dei token, consentendo una selezione dei token basata sull'importanza e una quantizzazione a precisione mista non uniforme. Questo approccio assegna una maggiore fedeltà ai segnali informativi sopprimendo le trasmissioni ridondanti, riducendo il carico per round in presenza di larghezza di banda eterogenea e partecipazione intermittente. Fed-FSTQ è agnostico rispetto al modello e progettato per l'apprendimento federato efficiente in termini di comunicazione in regimi di dati non IID.
Fatti principali
- Fed-FSTQ è un sistema di quantizzazione dei token guidata da Fisher per il fine-tuning federato di LLM.
- Utilizza un proxy Fisher leggero per stimare la sensibilità dei token.
- Abbina la selezione dei token basata sull'importanza con la quantizzazione a precisione mista non uniforme.
- Il metodo riduce il carico per round in regimi non IID.
- È agnostico rispetto al modello.
- È mirato all'apprendimento federato efficiente in termini di comunicazione su dispositivi edge.
- Il lavoro è pubblicato su arXiv con ID 2604.25421.
- L'approccio affronta la comunicazione uplink limitata da straggler in presenza di larghezza di banda eterogenea.
Entità
Istituzioni
- arXiv