Compressione KV Adattiva a Segmentazione di Massa per Ragionamento a Contesto Lungo

L'articolo arXiv 2605.23200 introduce la Compressione KV Adattiva a Segmentazione di Massa (AMS), un metodo per affrontare la crescita lineare della cache Key-Value (KV) nell'inferenza LLM a lungo contesto. Gli autori identificano che i metodi di compressione esistenti basati sulla selezione globale Top-k causano la cancellazione di regioni, dove blocchi di ragionamento contigui vengono gravemente espulsi, interrompendo la coerenza logica. AMS passa dalla competizione a livello di token all'allocazione di quote basata sulle regioni, partizionando adattivamente la cache KV in base alla distribuzione della massa di attenzione, garantendo che i segmenti di ragionamento vitali ricevano memoria assicurata. Un meccanismo di smoothing basato su EMA previene il jitter nei confini dei segmenti durante la decodifica iterativa. AMS è un layer universale plug-and-play ortogonale agli scorer esistenti.