La pianificazione guidata dal fluido ottimizza l'inferenza LLM con vincoli di memoria

Un nuovo articolo su arXiv (2504.11320) introduce WAIT e Nested WAIT, regole di ammissione basate su soglie per la pianificazione dell'inferenza LLM. La ricerca affronta la crescita endogena della memoria nelle cache Key-Value, che può espellere richieste in corso e sprecare calcolo. I fornitori affrontano costi superiori a 700.000 dollari al giorno per servire milioni di utenti. Il modello fluido caratterizza la composizione di equilibrio del batch, il requisito di memoria e la regione di stabilità. WAIT gestisce lunghezze di output note, mentre Nested WAIT si estende a lunghezze sconosciute regolando l'avanzamento delle richieste attraverso le fasi di decodifica. Il lavoro formula l'inferenza come un problema di pianificazione online multi-stadio con tempi di iterazione lineari e vincoli di cache KV residente in GPU.