X-Stage: Una Nuova Fase di Pipeline per la Sovrapposizione Comunicazione-Calcolo nell'Inferenza DiT

I ricercatori hanno scoperto una fase precedentemente inosservata nella pipeline chiamata X-Stage, che fa parte dell'inferenza distribuita del trasformatore di diffusione (DiT). Questa fase visibile al software si verifica dopo l'avvio della comunicazione ma prima che il completamento sia visibile a distanza. Test condotti su un nodo a otto GPU utilizzando una recente architettura NVIDIA dimostrano che brevi raffiche di remote-store esauriscono le risorse mentre l'emittente continua i suoi compiti, mentre un'iniezione prolungata utilizza la limitata capacità in sospeso, causando ritardi nelle emissioni successive. Un modello leggero Burst-Gap, definito dal tempo di emissione senza backpressure, dal tasso di drenaggio effettivo e dalla capacità in sospeso, prevede il sovraccarico di emissione, i tempi di recupero tra le raffiche e l'insorgenza del backpressure. Questo modello informa la riprogettazione di due metodi di comunicazione per migliorare la sovrapposizione e ridurre la latenza di inferenza. Lo studio colma una lacuna nei sistemi attuali che gestiscono quando la comunicazione viene inviata e quando i dati ricevuti possono essere utilizzati, trascurando il progresso dopo l'emissione, il che complica la previsione del backpressure del mittente. I risultati sono pubblicati in un articolo su arXiv (2607.23264).