FedCoLLM: Framework Federato di Co-Tuning per Modelli Linguistici Grandi e Piccoli
FedCoLLM è un innovativo framework federato progettato per il co-tuning di Large Language Models (LLM) e Small Language Models (SLM). L'approccio trasferisce adattivamente la conoscenza del LLM lato server agli SLM client, arricchendo al contempo il LLM con approfondimenti di dominio provenienti dai client. Utilizza adattatori leggeri con gli SLM per facilitare lo scambio di conoscenze, preservando la privacy dei dati e minimizzando il carico computazionale e di comunicazione. Il framework è stato valutato utilizzando vari LLM e SLM pubblici in compiti specifici di dominio. La ricerca è pubblicata su arXiv con identificatore 2411.11707.
Fatti principali
- FedCoLLM è un framework federato efficiente in termini di parametri per il co-tuning di LLM e SLM.
- Trasferisce adattivamente la conoscenza del LLM lato server agli SLM client.
- Arricchisce il LLM con approfondimenti di dominio provenienti dai client.
- Utilizza adattatori leggeri con gli SLM per lo scambio di conoscenze.
- Rispetta la privacy dei dati e minimizza il carico computazionale e di comunicazione.
- Valutato utilizzando vari LLM e SLM pubblici in compiti specifici di dominio.
- Pubblicato su arXiv con identificatore 2411.11707.
- Tipo di annuncio: replace-cross.
Entità
Istituzioni
- arXiv