Valutazione del Pre-Training Federato: Affidabilità del Fine-Tuning a Valle rispetto alle Metriche Intrinseche

Uno studio recente pubblicato su arXiv (paper 2607.28658) esamina l'efficacia dei metodi di valutazione per il pre-training federato dei modelli foundation. Questo approccio consente di addestrare su dataset privati o distribuiti senza centralizzarli, ma valutare le prestazioni è complicato dalle differenze nella partecipazione dei client e nella disponibilità dei dati locali. I ricercatori evidenziano che la perplessità dei test di pre-training è strettamente legata alla distribuzione utilizzata per il pre-training, mentre i benchmark a valle possono richiedere aggiustamenti specifici per il compito che non indicano necessariamente la qualità del pre-training. Valutano vari protocolli utilizzando un gruppo controllato di modelli addestrati centralmente e in modo federato, ciascuno con 16M di parametri, addestrati sugli stessi dati dei client. I risultati sono significativi per coloro che sono coinvolti nell'apprendimento federato e nello sviluppo di modelli foundation, offrendo spunti su quali metodi di valutazione riflettano meglio la qualità del pre-training. Il paper può essere trovato su arXiv con l'identificatore 2607.28658.