Variabili Casuali Complesse Migliorano l'Efficienza dello Sketching TensorSketch
Un nuovo articolo su arXiv (2608.10523) introduce un metodo per migliorare l'algoritmo TensorSketch per lo sketching di kernel polinomiali ad alta dimensionalità utilizzando variabili casuali a valori complessi. TensorSketch, originariamente sviluppato da Pham e Pagh (2013) e Kar e Karnick (2012), fornisce uno sketching efficiente per kernel polinomiali, con l'approccio di proiezione densa di tipo JL che costa O(pDd) e l'estensione sparsa CountSketch che gira in O(p(nnz(x) + D log D)). Tuttavia, entrambi gli stimatori soffrono di una varianza che cresce esponenzialmente con il grado polinomiale p, scalando come 3^p/D. Lavori recenti di Wacker et al. (2023) hanno mostrato che distribuzioni a valori complessi riducono questa dipendenza a 2^p/D per l'approccio denso, ma il loro metodo non si estende alla variante sparsa CountSketch. Questo nuovo articolo probabilmente estende la tecnica a valori complessi al contesto sparso, offrendo potenzialmente algoritmi più veloci per input sparsi ad alta dimensionalità con varianza ridotta. L'articolo è disponibile su arXiv con l'identificatore 2608.10523, con un tipo di annuncio 'cross'. Gli autori non sono esplicitamente nominati nel contenuto fornito, ma i riferimenti citati includono Pham, Pagh, Kar, Karnick e Wacker. Il lavoro è rilevante per i campi dell'apprendimento automatico e degli algoritmi randomizzati, in particolare per i metodi kernel in spazi ad alta dimensionalità.
Fatti principali
- L'articolo arXiv:2608.10523 propone di migliorare TensorSketch utilizzando variabili casuali complesse.
- TensorSketch fornisce uno sketching efficiente per kernel polinomiali ad alta dimensionalità.
- Le proiezioni dense di tipo JL costano O(pDd), mentre CountSketch sparso gira in O(p(nnz(x) + D log D)).
- La varianza di entrambi gli stimatori scala come 3^p/D.
- Wacker et al. hanno mostrato che distribuzioni a valori complessi riducono la varianza a 2^p/D per l'approccio denso.
- Il metodo complesso precedente non si estende a CountSketch sparso.
- Il nuovo metodo probabilmente estende la tecnica complessa al contesto sparso.
- L'articolo è un annuncio incrociato su arXiv.
Entità
Istituzioni
- arXiv