KGCache: Cache in Memoria per un Ragionamento Efficiente su Grafi di Conoscenza nei LLM

Un nuovo articolo di ricerca introduce KGCache, una cache in memoria progettata per ottimizzare il recupero di grafi di conoscenza (KG) per grandi modelli linguistici (LLM) in compiti di question-answering. Il sistema affronta l'inefficienza delle query ripetute agli stessi vicinati del grafo, un problema comune nei framework KGQA come Think-on-Graph (ToG) e Reasoning-on-Graph (RoG). KGCache si posiziona tra il motore KGQA e il server KG di backend, memorizzando nella cache i vicinati a un salto per servire richieste ripetute di entità senza emettere nuove query KG. L'articolo valuta KGCache su due dataset di benchmark, WebQSP e CWQ, utilizzando politiche di sostituzione della cache tra cui LRU, LFU e una politica Oracle consapevole della traccia. L'analisi rivela un sostanziale riutilizzo delle entità tra le entità iniziali e quelle raggiunte durante l'attraversamento, suggerendo che la cache può ridurre significativamente il carico di query. Il lavoro è disponibile su arXiv con l'identificatore 2608.07954.