RoundPipe: Pipeline a Bolle Quasi Zero per l'Addestramento di LLM su GPU Consumer
Un nuovo schema di pipeline chiamato RoundPipe affronta il problema del binding dei pesi nell'addestramento fine di modelli linguistici di grandi dimensioni (LLM) su GPU consumer. Trattando le GPU come worker senza stato e distribuendo le fasi di calcolo in modo round-robin, RoundPipe raggiunge bolle di pipeline quasi zero. Questo metodo rompe il vincolo di legare fasi di modello non uniformi a GPU specifiche, che in precedenza limitava il throughput. L'approccio si integra con l'offloading CPU per mitigare i colli di bottiglia di memoria e PCIe, rendendo l'addestramento fine degli LLM più efficiente su più GPU consumer.
Fatti principali
- RoundPipe è un nuovo schema di pipeline per l'addestramento di LLM su GPU consumer.
- Rompe il vincolo del binding dei pesi trattando le GPU come worker senza stato.
- Le fasi di calcolo vengono distribuite in modo round-robin.
- Raggiunge una pipeline a bolle quasi zero.
- Affronta il problema del binding dei pesi dove fasi non uniformi limitano il throughput.
- Si integra con l'offloading CPU per ridurre il sovraccarico di comunicazione.
- Progettato per server GPU consumer con memoria limitata e PCIe lento.
- Pubblicato su arXiv con ID 2604.27085.
Entità
Istituzioni
- arXiv