FedSLM: Un Nuovo Quadro per il Fine-Tuning Federato di Modelli Fondamentali con Client Eterogenei

Un recente articolo su arXiv (2607.29071) presenta FedSLM, un quadro incentrato sui parametri per affrontare il problema dell'asimmetria delle risorse nell'apprendimento federato per i modelli fondamentali. La sfida principale è che le organizzazioni con i dataset di dominio più preziosi spesso non hanno la capacità di ospitare modelli con miliardi di parametri. Gli attuali metodi federati eterogenei, tra cui il tuning efficiente dei parametri, il pruning dei modelli e la distillazione della conoscenza, compromettono attributi essenziali come l'efficienza della memoria dell'intero modello, l'autosufficienza architetturale o l'accuratezza rappresentazionale. FedSLM utilizza la decomposizione basata su SVD per sviluppare modelli client autonomi con sottospazi a basso rango che creano varietà annidate, facilitando la compatibilità strutturale per l'aggregazione. Implementa un protocollo a due fasi per sincronizzare gli adattatori leggeri e fondere le ricostruzioni a rango pieno. Questo articolo suggerisce che potrebbe essere stato condiviso o pubblicato in precedenza. Il quadro mira a consentire un fine-tuning federato efficace mantenendo la qualità del modello e l'integrità architetturale.