Framework di partizionamento dinamico dei task AI per il continuum eterogeneo edge-cloud
Gli sviluppatori affrontano sfide nel determinare dove dovrebbe avvenire il calcolo quando si distribuisce l'IA su dispositivi IoT con risorse limitate. Le tecniche di partizionamento statico tradizionali non tengono conto delle variazioni in fase di esecuzione e spesso mancano di validazione su hardware reale. Un nuovo framework affronta questo problema distribuendo dinamicamente i livelli delle reti neurali lungo lo spettro edge-cloud, utilizzando la profilazione del modello all'avvio e valutando le condizioni di rete tra dispositivi edge, nodi fog e server cloud. Rivaluta regolarmente queste partizioni per adattarsi alle fluttuazioni della larghezza di banda. Per valutare il framework, è stato creato un banco di prova fisico utilizzando un Raspberry Pi, un laptop e un PC desktop ad alte prestazioni, testandolo con VGG16, AlexNet e MobileNetV2, a differenza degli studi precedenti che si basavano esclusivamente su simulazioni.
Fatti principali
- L'IA su dispositivi IoT con risorse limitate è cresciuta in modo significativo.
- I metodi di partizionamento AI esistenti sono statici e ignorano le dinamiche di runtime.
- I metodi esistenti sono spesso valutati in ambienti simulati, non su hardware reale.
- Il framework proposto suddivide dinamicamente i livelli delle reti neurali lungo il continuum edge-cloud.
- Profila il modello all'avvio e misura le condizioni dei collegamenti di rete.
- Rivaluta periodicamente la partizione per adattarsi ai cambiamenti ambientali.
- È stato creato un banco di prova fisico: Raspberry Pi (edge), laptop (fog), PC desktop (cloud).
- Il framework è stato valutato su VGG16, AlexNet e MobileNetV2.
Entità
Istituzioni
- Raspberry Pi