Nuovo Algoritmo per l'Addestramento di Reti Neurali con Vincoli Lineari
I ricercatori hanno introdotto un algoritmo efficiente per l'addestramento end-to-end di reti neurali profonde con vincoli lineari sulle uscite di layer selezionati. L'innovazione chiave è lo HS-Jacobiano, una mappatura computabile per layer di proiezione su insiemi poliedrici, che supera il collo di bottiglia della non differenziabilità nella retropropagazione. Ciò consente l'uso di ottimizzatori standard come Adam per reti neurali vincolate. Il lavoro fornisce garanzie rigorose di convergenza ed è dettagliato nel preprint arXiv 2605.11526.
Fatti principali
- Viene affrontato l'addestramento di reti neurali profonde con vincoli lineari sulle uscite dei layer.
- Lo HS-Jacobiano è introdotto come una mappatura computabile per layer di proiezione.
- Lo HS-Jacobiano è dimostrato essere una mappatura conservativa per la proiezione su insiemi poliedrici.
- È abilitata l'integrazione nel framework di differenziazione automatica non liscia per la retropropagazione.
- Algoritmi come Adam possono essere applicati per l'addestramento end-to-end.
- La ricerca è pubblicata come arXiv:2605.11526v1.
- Il lavoro affronta una difficoltà chiave nella teoria e negli algoritmi di retropropagazione.
Entità
Istituzioni
- arXiv