Riemann GeoResolver: Framework di Attenzione Non-Euclideo da arXiv
Un nuovo articolo teorico su arXiv (2608.10416) introduce il Riemann GeoResolver, un framework di attenzione non-euclideo che estende il Resolver euclideo a geometrie iperboliche e sferiche. L'articolo stabilisce tre teoremi fondamentali per l'attenzione a distanza inversa (IDA) nello spazio euclideo: separazione circuitale, che mostra come IDA ottenga un recupero esatto con risorse O(1) mentre softmax richiede una larghezza Ω((log n)^2); una disuguaglianza di Polyak–Lojasiewicz con una costante più forte di softmax, implicando convergenza lineare, scaling di Lipschitz O(log n) sotto ipotesi di basso rango/clustering, spread di Hessian Θ(1), e assenza di minimi locali spuri; e un bound di rango effettivo indipendente dalla larghezza che limita la memorizzazione del rumore, con softmax che memorizza etichette arbitrarie quando d_h ≥ n, mentre IDA limita l'errore di test a O(η^2). L'estensione non-euclidea sostituisce la distanza euclidea con la distanza geodetica iperbolica, basandosi sul prototipo euclideo. L'articolo è categorizzato come annuncio di tipo cross ed è disponibile su https://arxiv.org/abs/2608.10416.
Fatti principali
- ID articolo: arXiv:2608.10416
- Tipo di annuncio: cross
- Introduce Riemann GeoResolver, un framework di attenzione non-euclideo
- Estende il Resolver euclideo a geometrie iperboliche e sferiche
- Dimostra tre teoremi fondamentali per l'attenzione a distanza inversa (IDA)
- IDA ottiene un recupero esatto con risorse O(1) rispetto alla larghezza Ω((log n)^2) di softmax
- Disuguaglianza di Polyak–Lojasiewicz con costante più forte di softmax, implicando convergenza lineare
- Bound di rango effettivo indipendente dalla larghezza limita la memorizzazione del rumore; softmax memorizza etichette arbitrarie quando d_h ≥ n, IDA limita l'errore di test a O(η^2)
Entità
Istituzioni
- arXiv