Il Decoupling con B-Spline Migliora la Compressione dei Transformer
Un nuovo framework di decoupling basato su B-spline amplia le attuali tecniche tensoriali per la compressione dei modelli transformer. Questo metodo di decoupling esprime funzioni multivariate attraverso combinazioni di trasformazioni lineari e funzioni non lineari univariate, collegandosi a reti neurali con un singolo strato nascosto e attivazioni adattabili. I metodi attuali dipendono da parametrizzazioni polinomiali o lineari a tratti, che presentano problemi di instabilità numerica o espressività limitata. Il framework introdotto sfrutta il supporto locale delle B-spline e consente un controllo flessibile della levigatezza per affrontare queste sfide. Questa ricerca è stata resa disponibile su arXiv (2605.18794).
Fatti principali
- 1. Il decoupling è un paradigma di modellazione per funzioni multivariate.
- 2. Il decoupling a strato singolo equivale a una rete neurale completamente connessa con uno strato nascosto.
- 3. I metodi di decoupling sono utilizzati per la compressione delle reti neurali.
- 4. I metodi tensoriali esistenti utilizzano funzioni polinomiali o lineari a tratti.
- 5. Il framework B-spline generalizza gli approcci esistenti.
- 6. Le B-spline offrono supporto locale e controllo della levigatezza.
- 7. Il lavoro appare su arXiv con ID 2605.18794.
Entità
Istituzioni
- arXiv