KVDiagnosis: Benchmark per la Compressione della Cache KV in LLM a Contesto Lungo

È stato presentato un nuovo standard per diagnosticare la compressione della cache KV nei modelli linguistici a contesto lungo, chiamato KVDiagnosis. Questo benchmark supera i limiti dei punteggi aggregati delle attività identificando quali esecuzioni corrette falliscono e le ragioni di questi fallimenti. Presenta una tassonomia di 25 metodi categorizzati in cinque famiglie di meccanismi, collegati a otto implementazioni verificate e alle relative metriche diagnostiche. Ogni impostazione di metodo viene valutata rispetto a un controllo FullCache per ogni split fisso, con righe FullCache-corrette/compresse-errate (C-to-W) selezionate individualmente, evitando sovrapposizioni nei set di test. Su Qwen3-8B, quattro workload basati su evidenze hanno generato 59.800 esecuzioni compresse su 2.600 fonti e 12.520 righe C-to-W, migliorando la comprensione dei fallimenti di compressione della cache KV, essenziale per ottimizzare l'efficienza della memoria in scenari a contesto lungo.