LaProx: Evizione della Cache KV Consapevole dell'Output per LLM a Contesto Lungo

I ricercatori hanno ridefinito l'evizione della cache KV per l'inferenza di LLM a contesto lungo, inquadrandola come un problema di approssimazione della moltiplicazione matriciale a livello di layer, consapevole dell'output. Le tecniche attuali dipendono dai pesi di attenzione locali e trascurano le rappresentazioni dei valori, le proiezioni di output e le interazioni tra teste. LaProx cattura esplicitamente le relazioni moltiplicative tra mappe di attenzione e stati dei valori proiettati per valutare i contributi dei token, considerando le dipendenze tra teste. Presenta una nuova strategia di evizione unificata che assegna punteggi di importanza globalmente comparabili, facilitando la selezione a livello di modello anziché scelte localizzate e specifiche per testa. Questo metodo minimizza efficacemente sia l'uso della memoria che il sovraccarico di runtime durante l'inferenza a contesto lungo.