Il framework CSR consente l'inferenza LLM in tempo reale per la robotica
Esiste un nuovo framework chiamato Cached State Representation (CSR) progettato per risolvere il problema della latenza time-to-first-token (TTFT) nei modelli linguistici di grandi dimensioni utilizzati in robotica. I ricercatori sottolineano l'importanza di avere le giuste strutture di compito e mostrano che fattori come la stabilità del prefisso, l'estensibilità incrementale e la riconciliazione asincrona dello stato sono fondamentali per le operazioni in tempo reale. CSR migliora il riutilizzo della KV-cache, e l'algoritmo Asynchronous State Reconciliation (ASR) aiuta a gestire l'evizione della memoria di stato utilizzando risorse parallele, riducendo i picchi di latenza. Puoi trovare questa ricerca su arXiv con il numero 2605.07325, e include sia prove teoriche che un approccio pratico per politiche in tempo reale che durano indefinitamente.
Fatti principali
- Numero del paper arXiv: 2605.07325
- Tipo di annuncio: cross
- Focus sulla latenza TTFT per LLM nella robotica
- Soluzioni esistenti come RAG o finestre scorrevoli compromettono il contesto globale
- Il framework CSR garantisce un riutilizzo ottimale della KV-cache
- L'algoritmo ASR scarica l'evizione della memoria di stato su risorse parallele
- Dimostrazioni teoriche per stabilità del prefisso, estensibilità incrementale e riconciliazione asincrona dello stato
- Obiettivo: politiche in tempo reale a orizzonte infinito
Entità
Istituzioni
- arXiv