STLGT: Trasformatore Grafico Lineare Scalabile per la Latenza di Coda nei Microservizi
STLGT (Trasformatore Grafico Lineare Scalabile basato su Tracce) funge da predittore per API progettato per prevedere la latenza di coda p95 multi-step nelle architetture a microservizi. Trasforma le tracce in grafi di span e impiega un trasformatore grafico lineare strutturato per gestire efficacemente le dipendenze tra servizi, mantenendo un tempo di inferenza che scala linearmente con la dimensione del grafo di span. Inoltre, presenta un modulo temporale disaccoppiato per tenere conto delle fluttuazioni del carico di lavoro. Valutato utilizzando il microservizio di istruzione personalizzata DeathStarBench e le tracce Alibaba, STLGT migliora la precisione delle previsioni rispetto a PERT-GNN in media dell'8,5% MAPE e fornisce velocità di inferenza CPU fino a 12 volte più veloci a N=32, in linea con la dimensione massima del grafo di span dopo la preelaborazione delle tracce Alibaba. L'analisi dei componenti ne conferma l'efficacia.
Fatti principali
- STLGT è un predittore per API per la previsione della latenza di coda p95.
- Codifica le tracce come grafi di span.
- Utilizza un trasformatore grafico lineare strutturato per un tempo di inferenza lineare.
- Include un modulo temporale disaccoppiato per le dinamiche del carico di lavoro.
- Testato su microservizio di istruzione personalizzata, DeathStarBench e tracce Alibaba.
- Migliora la precisione delle previsioni rispetto a PERT-GNN in media dell'8,5% MAPE.
- Raggiunge fino a 12x di velocità di inferenza CPU a N=32.
- N=32 corrisponde alla dimensione massima del grafo di span dopo la preelaborazione delle tracce Alibaba.
Entità
—