FraQ: Ricompressione Efficiente nello Spazio delle Coordinate per LoRA Federato

C'è un nuovo studio su arXiv (2608.03605) che introduce un metodo chiamato FraQ, che aiuta con la ricompressione nello spazio delle coordinate nell'adattamento a basso rango (LoRA) federato. Questo è un grande passo avanti perché consente la messa a punto collaborativa di modelli linguistici di grandi dimensioni (LLM) senza dover raccogliere dati sensibili in un unico luogo. Tuttavia, la configurazione a due fattori di LoRA può creare problemi quando i clienti tentano di aggregare i loro dati, poiché la semplice media dei fattori non riflette gli aggiornamenti reali. Per risolvere questo problema, FraQ calcola l'aggregato esatto nello spazio dei pesi completo prima di ricomprimerlo. Inizia con fattori impilati, li fattorizza, seleziona il rango necessario in base a una specifica soglia di energia e li riconverte in fattori LoRA per una maggiore efficienza nell'apprendimento federato.