TrainMover: un runtime resiliente riduce i tempi di inattività nell'addestramento LLM

TrainMover, un nuovo runtime, affronta le comuni interruzioni nei compiti di addestramento ML su larga scala derivanti da problemi software e hardware, guasti ed eventi di gestione. A differenza dei metodi tradizionali come checkpoint-restart o riconfigurazione runtime, che spesso comportano lunghi tempi di inattività e prestazioni ridotte, TrainMover utilizza macchine elastiche e di standby per minimizzare le interruzioni, ottenendo tempi di inattività trascurabili e nessun overhead di memoria. Il sistema presenta tre tecniche innovative: un setup di gruppo di comunicazione delta-based in due fasi; un warmup sandboxed senza comunicazione; e un design di standby versatile per il recupero da qualsiasi ruolo. I test su scala 1024 GPU rivelano che TrainMover mantiene circa 20 secondi di inattività durante varie interruzioni. Si prevede che ridurrà le ore GPU sprecate del 55%, traducendosi in un risparmio di 1,4 milioni di ore GPU a settimana su scala 64K GPU.