InfiniPipe: Parallelismo Pipeline Elastico per un Addestramento Efficiente di LLM a Contesto Lungo e Lunghezza Variabile

È stato sviluppato un nuovo approccio chiamato InfiniPipe per migliorare l'efficienza dell'addestramento di modelli linguistici di grandi dimensioni (LLM) su sequenze di contesto lungo attraverso il Parallelismo Pipeline Elastico (EPP). L'addestramento con contesti lunghi è cruciale per ampliare le funzionalità degli LLM; tuttavia, i metodi tradizionali come il parallelismo di sequenza sono ostacolati da un significativo overhead di comunicazione. Sebbene il parallelismo pipeline (PP) allevi questi costi, il suo successo è influenzato dalla partizione delle sequenze. Il PP a livello di batch, che raggruppa le sequenze, porta a un uso eccessivo di memoria per contesti lunghi, mentre il PP a livello di token, che divide le sequenze, potrebbe non utilizzare pienamente le risorse hardware. Dato che i dataset reali spesso hanno distribuzioni di lunghezza delle sequenze non uniformi, il PP a granularità fissa si rivela inadeguato. L'EPP di InfiniPipe combina flessibilmente il PP a livello di token e a livello di batch per rispondere a risorse e carichi di lavoro variabili. Inoltre, il Checkpointing Adattivo a Livello di Chunk Consapevole dello Stadio integra il gradient checkpointing con l'EPP per ridurre al minimo il consumo di memoria. Questa ricerca è documentata su arXiv con ID 2509.21275.