Keyless Attention: Un Nuovo Meccanismo per Ridurre del 50% il Sovraccarico della KV-Cache

Un nuovo meccanismo di attenzione chiamato Keyless Attention è stato introdotto dai ricercatori, che elimina le rappresentazioni delle chiavi implementando una proiezione specializzata di routing nello spazio dei valori. Questa innovazione porta a una Value-Only Cache, riducendo del 50% la memoria e il sovraccarico di accesso della KV-cache rispetto ai metodi di attenzione tradizionali, migliorando al contempo il throughput di decodifica. Test condotti su cinque modelli in quattro architetture diverse indicano che Keyless Attention eguaglia o supera l'attenzione QKV standard in termini di perplexity per quattro dei cinque modelli, e dimostra prestazioni solide nei benchmark di valutazione downstream.