Trasferimento della Cache KV Sensibile all'Importanza per l'Handover LLM Edge Multi-Utenza
Un nuovo articolo di ricerca su arXiv (2608.10545) propone un metodo di trasferimento della cache KV sensibile all'importanza per l'handover LLM edge multi-utenza. Il metodo prioritizza la trasmissione della frazione più informativa della cache KV di ciascun utente, basata sull'ordinamento per importanza, per massimizzare l'accuratezza media tra gli utenti sotto vincoli di larghezza di banda. L'approccio modella il trasferimento come un problema di allocazione del backhaul multi-utente, utilizzando una funzione di utilità sigmoide che si adatta alle misurazioni del benchmark RULER con R²>0.99. L'allocatore proposto mira a migliorare la continuità dell'inferenza durante gli handover in ambienti di edge computing.
Fatti principali
- L'articolo è intitolato 'ImpactHO: Trasferimento della Cache KV Sensibile all'Importanza per l'Handover LLM Edge Multi-Utenza'.
- È disponibile su arXiv con ID 2608.10545.
- Il metodo affronta la sfida di preservare la continuità dell'inferenza quando gli utenti passano da un nodo edge all'altro.
- Gli handover simultanei possono saturare il backhaul, impedendo la consegna completa della cache.
- L'approccio ordina la cache KV di ciascun utente per importanza e trasmette solo la frazione più informativa.
- Il trasferimento è formulato come un problema di allocazione del backhaul multi-utente che massimizza l'accuratezza media.
- La funzione di utilità è una sigmoide che si adatta alle misurazioni del benchmark RULER con R²>0.99.
- L'allocatore proposto mantiene la regione concava della curva di accuratezza che copre quasi l'intera cache.
Entità
Istituzioni
- arXiv