Il Regularizzatore di Concentrazione dei Pesi Migliora la Robustezza al Pruning nelle Reti Neurali

Un nuovo regolarizzatore progettato per l'addestramento, noto come Regularizzatore di Concentrazione dei Pesi (WCR), migliora la resilienza delle reti neurali profonde durante il pruning one-shot in scenari di alta sparsità. Sebbene le reti neurali profonde funzionino eccezionalmente bene in applicazioni di visione e linguaggio, il loro elevato numero di parametri pone sfide per l'implementazione in ambienti con risorse limitate. Il pruning one-shot consente di ridurre la dimensione del modello senza necessità di riaddestramento; tuttavia, i metodi di addestramento tradizionali possono portare a notevoli cali di accuratezza in presenza di alta sparsità. Le tecniche precedenti includono regolarizzatori come ℓ1 e DeepHoyer, che modificano le distribuzioni dei pesi, e ottimizzatori robusti al pruning come SAM, CrAM e S²SAM, che mirano ad appianare il paesaggio della funzione di perdita. Tuttavia, gli attuali regolarizzatori o riducono uniformemente tutti i pesi (ℓ1) o creano una sparsità invariante di scala (DeepHoyer), che non concentra efficacemente l'energia dei pesi su un gruppo selezionato di parametri significativi. WCR risolve questo problema aumentando la magnitudine di un numero limitato di parametri mentre spinge gli altri verso zero. La ricerca è disponibile su arXiv con l'identificatore 2511.14282.