PALS: Servizio LLM Consapevole della Potenza per Modelli Mixture-of-Experts

I ricercatori hanno introdotto un nuovo sistema chiamato PALS (Power-Aware LLM Serving), che utilizza i limiti di potenza della GPU come risorsa gestibile per migliorare l'efficienza energetica durante l'inferenza di modelli linguistici di grandi dimensioni. Integrato nel framework vLLM, PALS combina semplici modelli offline di prestazioni energetiche con un controller basato su feedback per selezionare impostazioni che raggiungono obiettivi di throughput riducendo il consumo energetico. Questo sistema non richiede alcun riaddestramento del modello o modifiche alle API ed è stato validato su configurazioni multi-GPU utilizzando sia modelli densi che mixture-of-experts (MoE), mostrando significativi miglioramenti in termini di efficienza energetica.