JouleShare: un framework per l'attribuzione dell'energia a livello di richiesta nel servizio LLM in batch
Un recente articolo su arXiv presenta JouleShare, un framework progettato per assegnare l'uso di energia a specifiche richieste nel contesto del servizio di modelli linguistici di grandi dimensioni (LLM) in batch. Questo studio affronta il problema che la telemetria di potenza della GPU è aggregata, mentre una rendicontazione accurata della sostenibilità, l'addebito e l'analisi del carico di lavoro richiedono addebiti energetici a livello di richiesta. I benchmark attuali offrono dati energetici a livello di modello, fase o token, ma non forniscono misurazioni verificate a livello di richiesta. JouleShare è composto da due parti principali: un harness offline che stabilisce la verità di base riproducendo sottoinsiemi di richieste sotto vLLM con un protocollo coerente, e JCalib, un modello di calibrazione leggero che prevede le quote di Shapley da caratteristiche di richiesta a basso costo durante il servizio. L'articolo può essere trovato su arXiv con ID 2608.00026.
Fatti principali
- JouleShare è un framework di attribuzione per l'energia a livello di richiesta nel servizio LLM in batch.
- Include un harness offline per calcolare l'energia di Shapley esatta per ogni richiesta.
- JCalib è un modello di calibrazione leggero che prevede le quote di Shapley dalle caratteristiche della richiesta.
- Il framework integra la telemetria di potenza della GPU e utilizza vLLM per riprodurre sottoinsiemi di richieste.
- L'articolo è pubblicato su arXiv con ID 2608.00026.
- La ricerca affronta il divario tra la telemetria di potenza aggregata della GPU e la contabilità energetica a livello di richiesta.
- I benchmark esistenti forniscono energia a livello di modello, fase o token, ma non la verità di base a livello di richiesta.
- Il lavoro è motivato dalle esigenze di rendicontazione della sostenibilità, addebito e analisi del carico di lavoro.
Entità
Istituzioni
- arXiv
- vLLM