Framework di Apprendimento Federato Annidato per l'Adattamento in Tempo di Test

Un nuovo framework di machine learning chiamato Federated Nested Learning (FedNL) è stato introdotto per affrontare le sfide poste dai dati client non IID nell'apprendimento federato. Questo framework reinterpreta l'apprendimento federato come un modello di ottimizzazione annidato a tre livelli, incorporando l'attenzione lineare basata su Titans per facilitare un adattamento leggero e zero-shot in tempo di test attraverso una regola delta come passo di gradiente online. I test condotti su benchmark non IID MMLU e long-context dimostrano prestazioni elevate nel ragionamento a contesto breve, un miglior recupero di contesto lungo e una cross-entropia streaming consistente, insieme a una memoria di inferenza stabile. Il documento di ricerca è accessibile su arXiv.