Sistema Collaborativo di Inferenza Distribuita per un Autoscaling Efficiente e Consapevole della QoS
Un recente articolo di ricerca introduce un framework collaborativo di inferenza distribuita che integra infrastrutture dedicate con risorse fornite dagli utenti per soddisfare la crescente domanda di inferenza AI. Questo framework impiega risorse dedicate per garantire una capacità di base per la qualità del servizio (QoS), mentre le risorse fornite dagli utenti gestiscono i picchi di domanda senza richiedere un aumento proporzionale dell'infrastruttura centralizzata. Gli autori creano un modello di Markov generativo ad alta dimensionalità con fattorizzazione temporale strutturata per catturare le relazioni stocastiche e dinamiche tra utenti, risorse, compiti e politiche. Questo modello facilita la simulazione e pone le basi per l'ottimizzazione della pianificazione dei compiti e dell'allocazione delle risorse consapevole della QoS. Le valutazioni dimostrano che le politiche di pianificazione distribuita possono sfruttare efficacemente le risorse volontarie, minimizzando la necessità di espansione dell'infrastruttura centralizzata pur preservando la QoS. Lo studio è disponibile su arXiv con identificatore 2608.11840.
Fatti principali
- L'articolo propone un sistema collaborativo di inferenza distribuita che combina risorse dedicate e fornite dagli utenti.
- Le risorse dedicate forniscono una capacità di base per la QoS, mentre le risorse volontarie assorbono la domanda crescente.
- Viene sviluppato un modello di Markov generativo ad alta dimensionalità con fattorizzazione temporale strutturata.
- Il modello supporta la simulazione e l'ottimizzazione della pianificazione dei compiti e dell'allocazione delle risorse.
- Il sistema viene valutato attraverso popolazioni di utenti, capacità delle risorse e politiche di pianificazione.
- Le simulazioni mostrano che le politiche di pianificazione distribuita utilizzano efficacemente le risorse volontarie.
- L'approccio riduce la necessità di una crescita proporzionale dell'infrastruttura centralizzata.
- L'articolo è disponibile su arXiv con identificatore 2608.11840.
Entità
Istituzioni
- arXiv