HiKV: Compressione della Cache KV Accelerata via Hardware per LLM

Un nuovo metodo chiamato HiKV è stato introdotto dai ricercatori per comprimere le cache chiave-valore nei modelli linguistici di grandi dimensioni (LLM) con un focus sull'importanza gerarchica. Il metodo funziona in due fasi: la prima fase rimuove i token meno importanti rispettando un budget prestabilito, e la seconda fase carica selettivamente solo i componenti cruciali di ciascun token rimanente, consentendo rapporti di compressione non possibili con un approccio a granularità singola. Un acceleratore innovativo dotato di un ordinatore di importanza riconfigurabile integra entrambe le fasi in un unico circuito. Testato su LLM standard, HiKV dimostra un aumento di velocità fino a 7,95 volte e una riduzione del 90% del consumo energetico durante i calcoli di attenzione.