La formulazione dei prompt influisce sul consumo energetico degli LLM su dispositivo, secondo uno studio

Un nuovo studio rivela che la scelta delle parole nei prompt influisce significativamente sul consumo energetico dei modelli linguistici di grandi dimensioni (LLM) in esecuzione su dispositivi mobili. Ricercatori di un'istituzione non divulgata hanno condotto test empirici su uno smartphone, misurando il consumo energetico reale in base a diversi verbi e strutture di istruzioni. Hanno scoperto che le parole chiave imperative e la complessità delle frasi influenzano direttamente la lunghezza di decodifica e il consumo energetico totale. L'articolo, intitolato "Keyword Matters: Unveiling the Energy Sensitivity of On-Device LLM Prompting", suggerisce l'ingegneria dei prompt come metodo leggero per migliorare l'efficienza energetica senza compressione del modello o accelerazione runtime. I risultati evidenziano un fattore poco esplorato nell'implementazione dell'IA su dispositivo, dove la durata della batteria è critica. Lo studio è stato pubblicato su arXiv nelle categorie di informatica e intelligenza artificiale in una data non specificata.