Benchmarking dell'inferenza LLM su dispositivi edge con accelerazione hardware

Un recente articolo di ricerca introduce un approccio completo di benchmarking per valutare l'inferenza di modelli linguistici di grandi dimensioni (LLM) su computer a scheda singola (SBC) con accelerazione hardware. Questo studio affronta le sfide dell'implementazione di LLM al edge, come la privacy dei dati, la latenza e i costi, che sono vitali nei settori della tecnologia operativa e della difesa. Mentre i progressi nella distillazione dei modelli, nella quantizzazione e negli acceleratori edge economici hanno reso pratica l'inferenza locale, i benchmark attuali si concentrano esclusivamente sulle prestazioni della CPU, non rappresentano adeguatamente i veri SBC e si basano su compiti generici. Il framework proposto valuta sia le prestazioni di inferenza che l'efficienza hardware su quattro configurazioni di piattaforme edge adatte all'IoT. Questo articolo è disponibile su arXiv con ID 2604.24785.