FAIR-Pruner: Potatura Adattiva per Strati tramite Tolleranza della Differenza

Un nuovo framework chiamato FAIR-Pruner è stato sviluppato dai ricercatori per migliorare la potatura strutturata nelle reti neurali profonde, eliminando completamente il processo di ricerca. Questo metodo presenta due classifiche all'interno di ogni strato: una che indica quali unità potrebbero essere rimosse e un'altra che evidenzia quelle cruciali per compiti specifici. Il componente chiave, noto come Tolleranza della Differenza (ToD), valuta quanto le unità da rimuovere si sovrappongono a quelle da mantenere, consentendo profondità di potatura diverse in vari strati. Include anche un'implementazione visiva che combina l'U-Score basato su Wasserstein per separare le unità specifiche della classe e l'R-Score basato su Taylor per la sensibilità al compito. La regola ToD è adattabile a diversi segnali, migliorando l'applicazione pratica della potatura strutturata.