Autonomia-delle-Teste: Attenzione Sparsa Senza Dati dalla Geometria Query-Key Congelata

È stato introdotto un nuovo approccio noto come Autonomia-delle-Teste (AoH) per affrontare i limiti nell'inferenza LLM a contesto lungo, che derivano dalla natura quadratica dei calcoli di attenzione e dai crescenti costi della cache KV. Le tecniche attuali per l'attenzione sparsa e la compressione KV dipendono da punteggi di attenzione in tempo reale, finestre di osservazione, prompt di calibrazione o gate appresi, che rendono la diagnosi delle teste dipendente dall'input e costosa da implementare. Al contrario, AoH è una tecnica senza dati che distingue le teste di recupero e di streaming attraverso la geometria spettrale delle proiezioni query-key. Essa formula l'operatore di attenzione kernel M_h = W_K^{hT}W_Q^h e impiega il suo rango effettivo come misura della funzione della testa: spettri concentrati indicano teste di recupero, mentre spettri diffusi denotano teste di streaming. Inoltre, il metodo fornisce un calcolo efficiente per d_he, probabilmente il rango effettivo. Questa ricerca è disponibile su arXiv con l'identificatore 2608.06849.