Controllo degli Agenti LLM: Opportunità GPU e Evitare Round Trip all'Host
Un nuovo studio su arXiv (2608.12123) analizza come i servizi di agenti LLM gestiscono il controllo, concentrandosi sulle loro transizioni prevedibili e di piccola entità durante le interazioni con modelli e strumenti. Gli autori introducono il concetto di 'confine di coorte pronta', utilizzando metriche come la quota di partizione fissa F, la quota offline P*, il limite superiore locale U e la quota online A. Applicano la programmazione dinamica per calcolare P* in condizioni ideali, come assenza di tempo di servizio e capacità illimitata. In una replica di Poisson con 851 sessioni, mirando a 100.000 sessioni attive, hanno trovato F=30,19%, P*=43,00% e U=45,85%. Il loro metodo recupera l'81,83% delle opportunità perse ai confini di finestra fissi, mostrando che le decisioni di instradamento GPU possono rimanere sul dispositivo senza bisogno di connessioni all'host. Il documento completo è disponibile su arXiv.
Fatti principali
- Articolo arXiv 2608.12123
- I servizi di agenti LLM eseguono transizioni deterministiche tra chiamate a modelli e strumenti
- Formalizza il confine di coorte pronta con F, P*, U, A
- Il programma dinamico calcola P* esattamente
- Replica di Poisson stazionaria di un pannello di tracce pubbliche di 851 sessioni
- A 100.000 sessioni attive, K=256, scadenza di 50 ms: F=30,19%, P*=43,00%, U=45,85%
- Il confezionamento esatto recupera l'81,83% dell'opportunità persa
- Le decisioni di instradamento calcolate dalla GPU possono rimanere sul dispositivo
- La chiave di instradamento derivata dall'esito è un proxy di condizionamento
Entità
Istituzioni
- arXiv