Nuovo quadro di ottimizzazione bilevel per la ricerca di architetture neurali
Un nuovo studio su arXiv (2608.14443) introduce un approccio innovativo di ottimizzazione bilevel specificamente progettato per la ricerca di architetture neurali (NAS). L'obiettivo è identificare architetture compatte che mantengano una forte performance predittiva su vari tipi di reti come MLP, CNN, RNN e Transformer. Affronta le pesanti richieste computazionali del NAS, che derivano dalla necessità di decisioni architetturali discrete e dagli estesi costi di addestramento per diverse architetture. I ricercatori propongono tre modelli scalabili che applicano rilassamenti continui invece di utilizzare scelte discrete di neuroni e attivazioni, consentendo un'ottimizzazione differenziabile in spazi architetturali complessi. Ciò si traduce in tre metodi NAS: NAS con Neuron Gating (NAS-NG), NAS con Mixed Activation (NAS-MA) e un terzo approccio ancora senza nome. Il quadro mira a migliorare l'efficienza e l'accessibilità del NAS. Puoi trovare l'articolo completo su https://arxiv.org/abs/2608.14443.
Fatti principali
- L'articolo arXiv:2608.14443 introduce un quadro di ottimizzazione bilevel per il NAS.
- Il quadro copre MLP, CNN, RNN e Transformer.
- Tre formulazioni scalabili sostituiscono le decisioni discrete con rilassamenti continui.
- I metodi includono NAS-NG (Neuron Gating) e NAS-MA (Mixed Activation).
- L'obiettivo è identificare architetture compatte con una forte performance predittiva.
- Affronta il costo computazionale del NAS.
- L'articolo è disponibile su arXiv.
- Tipo di annuncio: cross.
Entità
Istituzioni
- arXiv