Progressi nell'architettura LLM: KV Sharing, mHC e Attenzione Compressa

I modelli Gemma 4 di Google introducono la condivisione KV tra layer e gli embedding per layer (PLE) per ridurre la memoria e aumentare la capacità. Gemma 4 E2B ha 35 layer, di cui solo i primi 15 calcolano le proprie proiezioni KV; gli ultimi 20 riutilizzano i tensori KV, risparmiando circa 2,7 GB con contesto 128K. PLE aggiunge vettori token specifici per layer senza scalare il trasformatore principale. ZAYA1-8B utilizza attenzione convoluzionale compressa per ridurre la dimensione della cache KV. Laguna XS.2 implementa un budget di attenzione per layer. DeepSeek V4 introduce mHC (compressione multi-head) e attenzione compressa. Questi progetti mirano all'efficienza per contesti lunghi nei modelli di ragionamento e nei flussi di lavoro degli agenti.