Stem: Un Nuovo Modulo di Sparsità per un'Attenzione Causale Efficiente nei LLM

Uno studio recente pubblicato su arXiv (2603.06274) presenta Stem, una soluzione modulare di sparsità volta a mitigare le richieste computazionali quadratiche dell'auto-attenzione nei Grandi Modelli Linguistici (LLM) durante la fase di pre-riempimento. I ricercatori sostengono che le attuali tecniche sparse, che generalmente implementano una selezione top-k uniforme su tutte le posizioni dei token in un livello, trascurano le dipendenze cumulative delle informazioni dei token presenti nelle architetture causali. Per affrontare questo problema, Stem introduce una strategia di Decadimento della Posizione dei Token, che impiega selezioni top-k specifiche per posizione all'interno di ogni livello per mantenere i token iniziali per le dipendenze ricorsive, insieme a un metodo per trattenere i token ricchi di informazioni. L'articolo completo è disponibile all'indirizzo https://arxiv.org/abs/2603.06274.