HYMELL: Modello Ibrido Prevede Latenza ed Energia dell'Inferenza LLM

Un nuovo framework chiamato HYMELL (Hybrid Modeling for Energy and Latency of LLMs) è stato sviluppato da ricercatori per stimare il consumo energetico e la latenza di inferenza dei modelli linguistici di grandi dimensioni (LLM). Questo approccio a tre livelli integra la modellazione analitica con l'apprendimento automatico (ML) per affrontare i crescenti costi computazionali, l'uso di energia e la latenza legati all'espansione degli LLM. HYMELL funziona attraverso una gerarchia che include la valutazione analitica delle operazioni di base, le previsioni ML per componenti avanzati e un modello completo che tiene conto degli overhead a livello di sistema durante le fasi di prefill e decode. Supporta varie architetture, come reti feed-forward (FFN) dense e miste (mixture-of-experts, MoE), insieme a metodi di attenzione multi-testa (MHA) e attenzione a query raggruppate (GQA). Valutato su un benchmark non specificato, il framework ha dimostrato la sua capacità di prevedere con precisione latenza ed energia. Questa ricerca è cruciale per l'implementazione sostenibile dell'IA e la progettazione consapevole dell'hardware, poiché stime precise sono vitali per ottimizzare la gestione delle risorse e minimizzare gli effetti ambientali. L'articolo è disponibile su arXiv con l'identificatore 2608.06723.