Neuroni ad alto peso non sempre critici nelle reti neurali per classificazione delle immagini

Uno studio recente pubblicato su arXiv mette in discussione la convinzione che i neuroni con pesi elevati siano i più cruciali per la classificazione delle immagini nelle reti neurali. I ricercatori hanno introdotto un metodo per valutare l'importanza dei neuroni attraverso tre esperimenti: misurare la sovrapposizione tra neuroni ad alto peso e quelli che influenzano l'accuratezza, esaminare gli effetti delle perturbazioni e valutare l'accuratezza dopo il riaddestramento a seguito di ablazione. I test condotti su CIFAR-10 e Mini-ImageNet hanno rivelato che solo circa il 25% dei neuroni nel top 10% ad alto peso coincideva con quelli significativi. Le valutazioni delle perturbazioni hanno indicato che questi neuroni ad alto peso potevano portare a un calo di accuratezza del 45-80%, mentre perturbazioni casuali causavano solo il 3-7%. Inoltre, l'ablazione-riaddestramento ha mostrato che la rimozione di questi neuroni potrebbe migliorare l'accuratezza. Questi risultati hanno implicazioni importanti per il pruning, la difesa da backdoor e l'interpretabilità delle reti neurali.