POLAR Framework Ottimizza la Cache degli Adattatori LoRA per il Servizio LLM Edge

Un nuovo articolo di ricerca introduce POLAR (Paging and Online Learning for Adapter Routing), un sistema progettato per ottimizzare la distribuzione edge dei grandi modelli linguistici utilizzando adattatori LoRA. Il framework affronta la sfida della capacità limitata di GPU/DRAM che può ospitare solo un piccolo sottoinsieme di adattatori in un dato momento. Quando le richieste richiedono adattatori non residenti, il caricamento dei pesi dalla memoria di archiviazione introduce ritardi di latenza significativi. POLAR formula questo come un problema di bandit contestuale a due scale temporali, combinando il routing LinUCB consapevole della cache con il controllo della cache basato su epoche. Il sistema gestisce la residenza degli adattatori su una scala temporale lenta mentre instrada le richieste su una scala temporale veloce, dove l'utilità dell'adattatore dipende da fattori contestuali sconosciuti. Questo approccio congiunto consente alla cache di influenzare i costi di esplorazione mentre il router determina quali adattatori ricevono feedback. La ricerca è stata pubblicata su arXiv con l'identificatore 2604.16583v1 e un tipo di annuncio incrociato.