LAPLEX: Nuclei di Laplace Addestrabili e Veloci con Scaling FFT
Una nuova classe di operatori esatti e addestrabili basati su nuclei di Laplace, chiamati LAPLEX, è stata introdotta dai ricercatori. Questi operatori offrono uno scaling simile alla FFT pur adattandosi a geometrie variabili. Un layer LAPLEX è costituito da una matrice densa a rango pieno caratterizzata da ancore di coordinate apprendibili, che consente operazioni matrice-vettore addestrabili su vettori con dimensioni fino a 10^9 su GPU moderne. Funzionando come un layer neurale, produce proiezioni compatte e teste di classificazione interpretabili. Inoltre, agisce come un operatore Gram efficiente per modelli di covarianza ad alta dimensionalità applicati a immagini con dimensioni di 3·10^6, mantenendo la struttura spaziale senza introdurre bias convoluzionale. Questa ricerca è disponibile su arXiv, con riferimento 2605.24584.
Fatti principali
- LAPLEX sta per Learnable Laplace Kernels con scaling simile alla FFT.
- Supporta operazioni matrice-vettore addestrabili su vettori di dimensione fino a 10^9 su GPU moderne.
- Il layer è una matrice densa a rango pieno definita implicitamente da ancore di coordinate apprendibili.
- Produce proiezioni compatte e teste di classificazione interpretabili come modelli di routing addestrabili e soft.
- Funziona come un operatore Gram efficiente per modelli di covarianza ad alta dimensionalità.
- Può elaborare immagini appiattite di dimensione 3·10^6 senza bias convoluzionale.
- L'approccio supera il compromesso tra geometria fissa e geometria adattiva.
- L'articolo è disponibile su arXiv con ID 2605.24584.
Entità
Istituzioni
- arXiv