RCSR: Recupero Cross-Modale Federato con Modalità Mancanti tramite Routing Semantico e Personalizzazione degli Adattatori
Il recentemente introdotto framework di apprendimento federato, RCSR, affronta i problemi nel recupero cross-modale derivanti da dati client eterogenei, che includono distribuzioni semantiche non IID e modalità assenti. Utilizzando un backbone CLIP congelato, RCSR incorpora adattatori condivisi leggeri per la condivisione globale della conoscenza, insieme ad adattatori opzionali specifici del client per una personalizzazione su misura. L'ancoraggio dei prototipi collega i client unimodali alla semantica cross-modale globale, e un router semantico lato server regola dinamicamente i pesi di aggregazione in base alla coerenza del recupero, contribuendo a ridurre la deriva dell'allineamento. I test condotti sui benchmark MS-COCO e Flickr30K ne dimostrano l'efficacia.
Fatti principali
- RCSR è un framework di recupero cross-modale federato.
- Gestisce distribuzioni semantiche non IID e modalità mancanti.
- Basato su un backbone CLIP congelato.
- Utilizza adattatori condivisi leggeri e adattatori opzionali specifici del client.
- L'ancoraggio dei prototipi allinea i client unimodali con la semantica globale.
- Un router semantico lato server assegna pesi di aggregazione basati sulla coerenza del recupero.
- Testato sui benchmark MS-COCO e Flickr30K.
- Affronta la deriva dell'allineamento durante gli aggiornamenti eterogenei.
Entità
—