Fast LapSum: Top-k Differenziabile Esatto su Scala di Milioni

Una recente pubblicazione su arXiv presenta Fast LapSum, una primitiva top-k soft che soddisfa i requisiti di budget esatto per estese computazioni sparse. La funzione top-k è cruciale nelle moderne applicazioni di machine learning, inclusi compiti come il routing dei token, l'attivazione degli esperti, la selezione della memoria e il potatura dell'attenzione. I metodi top-k hard tradizionali ostacolano i gradienti, mentre le attuali rilassamenti continui sono costosi per modelli su larga scala. Fast LapSum supera questa sfida offrendo un solver GPU che opera in tempo lineare dopo l'ordinamento. A differenza dei precedenti approcci a tempo lineare come DFTopK, che rilassano i vincoli di normalizzazione, Fast LapSum mantiene in modo unico una massa di selezione esatta di k ed è completamente differenziabile in ogni sua parte. Il solver utilizza calcoli di soglia in tempo lineare e un prodotto vettore-Jacobiano analitico, impiegando il bracketing probabilistico per ordinare i punteggi con rumore kernel incerto. L'overhead rimane minimo, gestendo efficientemente fino a 10^7 elementi. L'articolo è disponibile su arXiv con ID 2608.06912.