veScale-FSDP: FSDP flessibile e ad alte prestazioni su larga scala

Il sistema veScale-FSDP di nuova concezione affronta le carenze degli attuali metodi Fully Sharded Data Parallel (FSDP) utilizzati nell'addestramento di modelli su larga scala. I framework FSDP esistenti si basano su formati di sharding rigidi, elemento per elemento o per righe, che sono incompatibili con le computazioni a blocchi. Questa limitazione ostacola l'uso di tecniche di addestramento moderne come la quantizzazione a blocchi e ottimizzatori non element-wise come Shampoo e Muon, portando anche a notevoli overhead di comunicazione e memoria quando si utilizzano decine di migliaia di GPU. veScale-FSDP presenta RaggedShard, un formato di sharding adattabile, abbinato a un algoritmo di pianificazione sensibile alla struttura che facilita comunicazioni FSDP zero-copy e supporta nativamente la quantizzazione a blocchi, con l'obiettivo di migliorare sia le prestazioni che la flessibilità nell'addestramento distribuito su larga scala.