UCCL-Zip: Compressione senza perdita per la comunicazione GPU nei modelli linguistici di grandi dimensioni
Il sistema UCCL-Zip introduce la compressione senza perdita nelle primitive di comunicazione GPU per affrontare i limiti posti dai modelli linguistici di grandi dimensioni. A differenza delle tecniche precedenti che si basavano sulla quantizzazione o sulla compressione con perdita, UCCL-Zip mantiene l'accuratezza numerica. Facilita sia la comunicazione punto a punto (P2P) che collettiva senza modificare le API utente. Per il P2P, Uzip-P2P impiega una pipeline di invio suddiviso che consente alla compressione di avvenire simultaneamente alla comunicazione. Nel caso della comunicazione collettiva, Uzip-NCCL incorpora la compressione nel modello di kernel persistente di NCCL attraverso l'esecuzione fusa, che minimizza il traffico di memoria non necessario e i lanci di kernel.
Fatti principali
- UCCL-Zip integra la compressione senza perdita nelle primitive di comunicazione GPU.
- Evita errori numerici dovuti a quantizzazione o compressione con perdita.
- Supporta la comunicazione punto a punto e collettiva senza modifiche alle API.
- Uzip-P2P utilizza una pipeline di invio suddiviso per la comunicazione P2P.
- Uzip-NCCL integra la compressione nel modello di kernel persistente di NCCL.
- Il sistema riduce il traffico di memoria ridondante e i lanci di kernel.
- Progettato per l'addestramento di modelli linguistici di grandi dimensioni.
- Preserva l'elevata efficienza GPU operando su grandi blocchi di dati.
Entità
—