Random Cloud: Ricerca di Architetture Neurali Senza Addestramento
Una tecnica innovativa chiamata Random Cloud introduce una strategia senza addestramento per la ricerca di architetture neurali, identificando strutture di rete feedforward minime attraverso esplorazione stocastica e riduzione strutturale incrementale. A differenza dei metodi di potatura post-addestramento tradizionali che richiedono un ciclo completo di addestramento-potatura-riadattamento, Random Cloud valuta reti inizializzate casualmente senza retropropagazione, semplificando gradualmente la loro struttura e addestrando infine solo il candidato minimo più promettente. Questo approccio è stato testato su sette benchmark di classificazione confrontandolo con la potatura per magnitudine e la potatura casuale. Random Cloud eguaglia o supera entrambe le alternative in sei dei sette dataset, ottenendo un miglioramento notevole del 4,9 punti percentuali in accuratezza su Sonar (p=0,017 rispetto alla potatura per magnitudine) riducendo al contempo i parametri dell'87%. Inoltre, dimostra prestazioni più rapide rispetto a entrambi i metodi di potatura in quattro dei cinque dataset (0,67–0,94× il costo dell'addestramento completo) eliminando la necessità di addestrare l'intera rete.
Fatti principali
- Random Cloud è un metodo di ricerca di architetture neurali senza addestramento.
- Scopre topologie di rete feedforward minime tramite esplorazione stocastica e riduzione strutturale progressiva.
- Valuta reti inizializzate casualmente senza retropropagazione.
- Addestra solo il miglior candidato minimo alla fine.
- Valutato su 7 benchmark di classificazione contro potatura per magnitudine e potatura casuale.
- Eguaglia o supera entrambi i baselines in 6 dei 7 dataset.
- Ottiene +4,9 punti percentuali di accuratezza su Sonar (p=0,017 vs potatura per magnitudine).
- Raggiunge una riduzione dei parametri dell'87% su Sonar.
- Più veloce di entrambi i baselines di potatura in 4 dei 5 dataset (0,67–0,94× il costo dell'addestramento completo).
Entità
—