ScaleAcross Explorer ottimizza l'addestramento AI tra data center
Meta ha pubblicato un articolo di ricerca che descrive ScaleAcross Explorer, un ottimizzatore volto a migliorare l'efficienza della comunicazione durante l'addestramento di grandi modelli linguistici in diversi data center. L'articolo, disponibile su arXiv, affronta le crescenti complessità della distribuzione delle risorse GPU in più sedi, un processo chiamato addestramento "scale-across". Identifica tre aspetti critici di progettazione: il posizionamento del parallelismo, la pianificazione e le tecnologie di livello di rete. Adottando un approccio completo a questi fattori, l'ottimizzatore mira ad accelerare l'esplorazione del panorama progettuale e facilitare un addestramento efficace per modelli all'avanguardia. I risultati si basano sull'ampia esperienza di Meta nella gestione di centinaia di migliaia di GPU in numerosi data center.
Fatti principali
- ScaleAcross Explorer è un ottimizzatore per l'addestramento AI tra data center.
- L'articolo proviene da Meta ed è pubblicato su arXiv.
- Affronta il paradigma di addestramento 'scale-across'.
- Vengono caratterizzate tre dimensioni progettuali: posizionamento del parallelismo, pianificazione del parallelismo, tecnologie di livello di rete.
- L'ottimizzatore ottimizza in modo olistico queste dimensioni.
- Viene sfruttata l'esperienza produttiva di Meta con centinaia di migliaia di GPU.
- I lavori di addestramento sono distribuiti in più edifici e regioni di data center.
- L'obiettivo è un addestramento efficiente per lo sviluppo di modelli all'avanguardia.
Entità
Istituzioni
- Meta
- arXiv