GhostServe: Servizio LLM Tollerante ai Guasti tramite Checkpoint Ombra

GhostServe è un innovativo sistema di checkpoint progettato per proteggere la cache chiave-valore (KV) nei servizi di inferenza dei grandi modelli linguistici (LLM) da guasti hardware e software. Con la crescente diffusione di applicazioni basate su agenti e milioni di token, la natura a lunga esecuzione di questi compiti aumenta la vulnerabilità ai fallimenti, causando costose interruzioni e spreco di risorse. GhostServe affronta questo problema applicando la codifica a cancellazione per generare shard di parità memorizzati nella memoria host, consentendo una rapida ricostruzione della cache KV persa senza dover ricalcolare completamente. Il sistema opera nell'ombra, ovvero in modo trasparente rispetto al processo di inferenza principale. Questo approccio garantisce la ripresa senza soluzione di continuità dell'inferenza dopo guasti ai dispositivi, migliorando significativamente la tolleranza ai guasti per il servizio LLM distribuito. Il lavoro è presentato nel preprint arXiv 2605.00831.