Metodo di eliminazione dei layer accelera l'addestramento delle CNN
Un nuovo metodo chiamato Learn&Drop migliora l'efficienza dell'addestramento delle reti neurali convoluzionali profonde riducendo le operazioni di propagazione in avanti. Durante l'addestramento, valuta punteggi basati sulle variazioni dei parametri per decidere se eliminare i layer, ridimensionando la rete e accelerando l'addestramento. A differenza dei metodi precedenti che comprimono le reti per l'inferenza o limitano la retropropagazione, Learn&Drop riduce in modo unico i calcoli del forward pass. Validato su architetture VGG e ResNet utilizzando i dataset MNIST, CIFAR-10 e Imagenette, il metodo diminuisce significativamente il tempo di addestramento mantenendo l'accuratezza.
Fatti principali
- Learn&Drop riduce le operazioni di propagazione in avanti durante l'addestramento.
- Valuta punteggi basati sulle variazioni dei parametri dei layer per decidere l'eliminazione dei layer.
- A differenza dei metodi che comprimono per l'inferenza o limitano la retropropagazione, si concentra sul forward pass.
- Validato su architetture VGG e ResNet.
- Testato sui dataset MNIST, CIFAR-10 e Imagenette.
- Il tempo di addestramento viene ridotto mantenendo l'accuratezza.
- Il metodo proposto ridimensiona la rete durante l'addestramento.
- Si concentra sulla riduzione delle operazioni nella propagazione in avanti.
Entità
—