Testimonianza che Preserva i Colli di Bottiglia: Nuovo Quadro per la Riduzione delle Tracce di Servizio LLM

Una recente sottomissione su arXiv (2608.00423) presenta Bottleneck-Preserving Witnessing (BPW), un quadro progettato per produrre suite di replay di servizio LLM compatte e affidabili sotto vincoli di qualità. Gli autori sostengono che le attuali tecniche di riduzione delle tracce, che mirano a mantenere le distribuzioni del carico di lavoro o le richieste rappresentative, trascurano i carichi di lavoro infrequenti che rivelano i colli di bottiglia. Sottolineano che l'assenza di prove in un'area non può essere compensata da prove in un'altra, e fare affidamento sui colli di bottiglia previsti come punto di riferimento porta a valutazioni circolari. BPW risolve queste sfide garantendo che le prove per ogni componente del collo di bottiglia siano preservate, piuttosto che dipendere dalla rappresentatività del carico di lavoro. Il quadro inizia con la Nomina dei Candidati al Carico di Lavoro, utilizzando caratteristiche del carico di lavoro cieche alla risposta e metriche chiuse lato server per identificare potenziali colli di bottiglia di scheduling.