Nuovo Framework Distribuito Accelera l'Addestramento dei Graph Transformer per Modelli AI su Larga Scala

È stato introdotto un framework di addestramento distribuito per graph transformer per superare i limiti delle implementazioni esistenti a singola GPU. Questo nuovo sistema seleziona e ottimizza automaticamente le strategie di parallelizzazione in base a strutture grafiche specifiche e configurazioni hardware. Implementando operazioni sparse distribuite, il framework accelera l'attenzione su grafi sparsi fino a 3,8 volte riducendo contemporaneamente il consumo di memoria del 78% rispetto ai framework all'avanguardia attuali. L'approccio affronta le sfide nel parallelizzare l'addestramento dei graph transformer su grafi completi, dove l'efficienza dipende fortemente sia dall'architettura del grafo che dalle caratteristiche del sistema come larghezza di banda e capacità di memoria. I modelli foundation basati su grafi hanno dimostrato una significativa adattabilità attraverso varie attività downstream tramite pre-addestramento su larga scala su grafi, ma le implementazioni precedenti affrontavano lunghi tempi di addestramento e problemi di memoria su grafi di grandi dimensioni. Il documento di ricerca che annuncia questo sviluppo è stato pubblicato su arXiv con identificatore 2604.16715v1.