Ottimizzazione dell'addestramento LLM in Swift: da 2,8 Gflop/s a 1,1 Tflop/s

Uno sviluppatore documenta il processo di ottimizzazione del codice di moltiplicazione di matrici scritto a mano in Swift per addestrare un LLM stile GPT-2 su Apple Silicon. Partendo da un'implementazione Swift ingenua che raggiungeva solo 2,8 Gflop/s, l'autore ha applicato una serie di ottimizzazioni: sostituzione di Array con MutableSpan per evitare il sovraccarico copy-on-write, uso di Relaxed.multiplyAdd da Swift Numerics per istruzioni fused-multiply-add, srotolamento manuale dei cicli con InlineArray, multithreading tramite DispatchQueue.concurrentPerform, istruzioni AMX reverse-engineered e infine shader GPU Metal personalizzati. L'implementazione finale ha raggiunto 1,1 Tflop/s, un miglioramento di 382x. Il modello di riferimento è llm.c di Andrej Karpathy, un'implementazione in C puro di GPT-2 con 124 milioni di parametri. L'autore nota che il framework Accelerate di Apple e altre librerie sarebbero più efficienti per uso produttivo e che l'unità AMX non è documentata ed è soggetta a modifiche che rompono la compatibilità. L'articolo è la prima parte di una serie che esplora l'addestramento di reti neurali in Swift su Apple Silicon.