ArborKV: Gestione della Cache KV Consapevole della Struttura per il Ragionamento LLM ad Albero

Un recente studio pubblicato su arXiv (2605.22106) presenta ArborKV, un framework di evizione della cache Key-Value (KV) che è consapevole della struttura, volto a mitigare i limiti di memoria nel ragionamento LLM Tree-of-Thoughts (ToT). In ToT, l'inferenza è strutturata come una ricerca ad albero che coinvolge ramificazioni e backtracking; tuttavia, mantenere gli stati KV per una frontiera di traiettorie incomplete rappresenta una sfida di memoria. ArborKV sfrutta le dinamiche di ricerca: la decodifica immediata si basa sul ramo corrente e sui suoi predecessori, mentre i sottoalberi inattivi, che hanno una bassa probabilità di riutilizzo a breve termine, devono comunque essere recuperabili. Questo framework integra uno stimatore di valore leggero con una strategia di allocazione focalizzata sull'albero per l'evizione, facilitando una maggiore profondità e larghezza di ricerca entro vincoli hardware fissi.