Panoramica Tecnica dei Metodi di Addestramento di Reti Neurali su Larga Scala

L'addestramento di grandi reti neurali presenta sfide significative a causa delle limitazioni della memoria GPU e delle lunghe durate di addestramento. Sono stati sviluppati diversi paradigmi di parallelismo per affrontare questi vincoli. Il parallelismo dei dati replica i pesi del modello tra i lavoratori, ma affronta problemi di sincronizzazione tra approcci sincroni in blocco e asincroni. Il parallelismo del modello suddivide il calcolo tra più macchine, mentre il parallelismo pipeline combina parallelismo del modello e dei dati per ridurre i tempi morti attraverso micro-batch. Il parallelismo tensoriale divide orizzontalmente le operazioni sui tensori, come dimostrato in Megatron-LM per i modelli transformer. L'approccio Mixture-of-Experts utilizza meccanismi di gate per attivare sottoinsiemi di esperti, con GShard che scala fino a 600 miliardi di parametri e Switch Transformer che raggiunge migliaia di miliardi. Il routing Expert Choice migliora il bilanciamento del carico facendo selezionare i token agli esperti. Le tecniche di risparmio di memoria includono la ricomputazione delle attivazioni, l'addestramento in precisione mista con FP16 e ottimizzatori efficienti come ZeRO. Questi metodi consentono l'addestramento di modelli sempre più massicci su sistemi GPU distribuiti.