HYDRA: Un'estensione iperbolica delle reti Kolmogorov-Arnold
Una nuova architettura denominata HYDRA (Hyperbolic Dynamic Representation Architecture) è stata sviluppata dai ricercatori come un potenziamento efficiente in termini di parametri delle reti Kolmogorov-Arnold (KAN) per minimizzare la ridondanza dei parametri. Mentre le KAN migliorano l'approssimazione di funzioni non lineari sostituendo i pesi scalari con funzioni univariate apprendibili, l'assegnazione di una funzione indipendente per ogni connessione comporta una notevole ridondanza, ostacolando la scalabilità e l'efficienza. HYDRA integra l'apprendimento funzionale basato su spline con rappresentazioni all'interno della palla di Poincaré, convertendo input vettoriali in uno spazio latente iperbolico limitato. Esegue aggiornamenti in stile KAN nello spazio tangente e utilizza un blocco prototipo a basso rango per diffondere trasformazioni funzionali attraverso le dimensioni nascoste. La coordinata radiale strutturata delle rappresentazioni iperboliche aiuta l'interpretazione, e il controllo del raggio migliora la stabilità dell'addestramento evitando complicazioni ai confini. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.12194.
Fatti principali
- HYDRA è un'estensione iperbolica efficiente in termini di parametri delle KAN.
- Riduce la ridondanza dei parametri condividendo trasformazioni funzionali attraverso le dimensioni nascoste.
- Utilizza il modello della palla di Poincaré per la geometria iperbolica.
- Gli input vengono mappati in uno spazio latente iperbolico limitato.
- Gli aggiornamenti in stile KAN vengono eseguiti nello spazio tangente.
- Un blocco prototipo a basso rango viene impiegato per la condivisione dei parametri.
- Il controllo del raggio migliora la stabilità dell'addestramento.
- L'articolo è disponibile su arXiv (2608.12194).
Entità
Istituzioni
- arXiv