I Vincoli di Equivarianza Possono Ridurre la Potenza Espressiva delle Reti Neurali

Uno studio recente pubblicato su arXiv esamina come l'imposizione di vincoli di equivarianza influisca sulle capacità espressive delle reti ReLU a 2 strati. I ricercatori illustrano che, sebbene questi vincoli possano limitare la potenza espressiva, l'aumento delle dimensioni del modello può compensare questa limitazione. Stabiliscono limiti superiori per l'espansione necessaria del modello e rivelano che architetture più grandi comportano una dimensionalità inferiore dello spazio delle ipotesi, il che suggerisce una migliore generalizzazione.