L'illusione del power capping nel decode LLM: studio energetico fase-consapevole attraverso architetture di attenzione

Uno studio da arXiv (2605.11999v1) rivela che il power capping, una leva energetica standard della GPU nel serving LLM, è inefficace durante il decode autoregressivo, la fase dominante nel serving di produzione. Attraverso quattro paradigmi di attenzione—GQA, MLA, Gated DeltaNet e Mamba2—su GPU NVIDIA H200, il decode consuma solo 137–300 W su una GPU da 700 W, il che significa che nessun limite viene mai attivato perché il decode memory-bound satura la larghezza di banda HBM piuttosto che il calcolo, lasciando intatto il margine di potenza. Il clock throttling avviato dal firmware aggrava l'illusione corrompendo le misurazioni del throughput. Il blocco del clock SM risolve entrambi i problemi, dominando Pareto il power capping e recuperando fino al 32% dell'energia di decode con una perdita minima di throughput. Lo studio identifica tre fattori dipendenti dall'architettura che influenzano l'efficienza energetica.