LongCat Sparse Attention: un nuovo co-design hardware-algoritmo per una modellazione efficiente di contesti lunghi

Uno studio recente presenta LongCat Sparse Attention (LSA), un framework co-progettato per hardware e algoritmi volto a superare le limitazioni a livello di sistema in DeepSeek Sparse Attention (DSA). Mentre DSA facilita una modellazione efficiente di contesti lunghi tramite il suo Lightning Indexer, il suo uso pratico è ostacolato dal costo elevato di calcolo del punteggio O(L^2) e da schemi di accesso alla memoria inefficienti e non continui. LSA integra tre approcci sinergici: indicizzazione sensibile allo streaming, che organizza le voci KV sparse in layout contigui ottimizzati per l'accesso HBM; indicizzazione tra livelli, che riduce i costi di indicizzazione riutilizzando i risultati tra i livelli con l'aiuto della distillazione tra livelli; e indicizzazione gerarchica, che implementa un metodo di punteggio dal grossolano al fine per restringere l'insieme di candidati per le query. La ricerca, rilevante per la tecnologia AI, è accessibile su arXiv con ID 2608.01662, e l'abstract è stato recentemente annunciato.