Kernel GEMM PTX Scritti a Mano su NVIDIA L4: Nessun Miglioramento per FP16

Uno studio recente pubblicato su arXiv (2608.10103) esamina i vantaggi dei kernel Tensor Core PTX scritti a mano rispetto all'API C++ WMMA su una GPU NVIDIA L4 (Ada, SM89). Questo esperimento controllato ha utilizzato una singola GPU per valutare i baseline WMMA a doppio buffer rispetto a kernel GEMM PTX artigianali per l'aritmetica FP16, INT8 e INT4, con dimensioni di matrici quadrate che vanno da N=512 a N=8192. La profilazione è stata condotta utilizzando Nsight Compute, riportando gli speedup PTX rispetto ai baseline WMMA della stessa precisione. La conclusione principale indica che il PTX scritto a mano non migliora la velocità per FP16 a causa di limitazioni a livello di istruzioni. L'articolo solleva una domanda critica riguardo alle condizioni in cui la sostituzione di WMMA con PTX scritto a mano è vantaggiosa. Per FP16, gli svantaggi superano i vantaggi, mentre potenziali miglioramenti esistono per precisioni inferiori (INT8, INT4), sebbene i dettagli siano troncati. Questa ricerca è significativa per il calcolo ad alte prestazioni e la programmazione GPU, specialmente in applicazioni che utilizzano Tensor Core. Gli autori hanno reso accessibili i risultati completi tramite l'URL fornito.