Benchmark Energetico di LLM Deployati Localmente su GPU Consumer

C'è un nuovo preprint su arXiv (2608.00008) che presenta un benchmark energetico riproducibile per nove modelli linguistici di grandi dimensioni (LLM) open-source, ciascuno con parametri che vanno da 1 miliardo a 7 miliardi. I test sono stati condotti su una singola GPU consumer, la RTX 4060Ti con 16GB. Lo studio si concentra sui costi energetici spesso trascurati dell'esecuzione di LLM in locale, utilizzando il motore di inferenza Ollama e monitorando la potenza della GPU a una frequenza di 2Hz tramite nvidia-smi. Le metriche chiave valutate includono potenza media e di picco, energia utilizzata per prompt (in joule), energia per token di output e throughput. I risultati rivelano che l'efficienza energetica varia in base al design del modello e alla quantizzazione, con gemma3:1b e llama3.2:1b che hanno i costi energetici più bassi e il throughput più alto. Questa ricerca mira a colmare una lacuna nelle valutazioni degli LLM che tipicamente enfatizzano l'accuratezza rispetto al consumo energetico, fornendo un quadro per studi futuri.