Quadro di Contabilità Energetica per Pipeline di Distillazione di LLM
Un nuovo studio da arXiv (2605.13981) introduce un quadro di contabilità energetica end-to-end per pipeline di distillazione di grandi modelli linguistici. La ricerca affronta i costi computazionali completi della distillazione, spesso trascurati, inclusi i carichi di lavoro lato insegnante come generazione di dati, caching dei logit e valutazione. Tracciando il consumo energetico della GPU in fasi distinte, il framework misura l'uso energetico empirico e le emissioni per la distillazione della conoscenza basata su logit e il fine-tuning supervisionato con dati sintetici. Il lavoro evidenzia che la distillazione, sebbene promossa come efficiente, può avere richieste energetiche nascoste che sfidano le affermazioni di sostenibilità.
Fatti principali
- Il paper arXiv 2605.13981 presenta un quadro di contabilità energetica per la distillazione di LLM.
- Il framework misura il costo computazionale completo tramite monitoraggio del consumo GPU per fasi.
- Copre i carichi di lavoro lato insegnante: generazione di dati, caching dei logit, valutazione.
- Gli esperimenti separano il consumo energetico in fasi distinte.
- Due metodi di distillazione analizzati: distillazione della conoscenza basata su logit e fine-tuning supervisionato con dati sintetici.
- Affronta le preoccupazioni riguardo alla domanda di GPU, al ridimensionamento dei datacenter e al consumo elettrico.
- La distillazione è spesso promossa come efficiente ma può avere costi energetici nascosti.
- Lo studio misura sistematicamente energia ed emissioni delle pipeline di distillazione.
Entità
Istituzioni
- arXiv