Ottimizzatori Frazionari e Attivazioni Frattali: Uno Studio Unificato

Uno studio empirico è stato pubblicato come nuovo preprint arXiv (2608.14636) che esplora come le tecniche di ottimizzazione frazionaria interagiscono con le funzioni di attivazione frattali durante l'addestramento delle reti neurali. Questa ricerca, evidenziata come cross-listing, approfondisce due percorsi distinti per il miglioramento: ottimizzatori frazionari che utilizzano derivate frazionarie ed effetti di memoria per espandere l'ottimizzazione del primo ordine, e attivazioni frattali che offrono rappresentazioni non lineari multi-scala attraverso funzioni auto-simili di tipo Weierstrass e Blancmange. La valutazione delle famiglie di ottimizzatori frazionari avviene su superfici benchmark Ackley e Himmelblau, sia nelle loro forme standard che con perturbazioni di tipo Weierstrass aggiunte. Questi ottimizzatori vengono poi testati su reti neurali feed-forward che impiegano sia attivazioni tradizionali che frattali su dieci dataset di classificazione. L'analisi include confronti con metodi standard, ottimizzatori di tipo regolarizzazione e vari ottimizzatori frazionari basati su memoria. I risultati indicano che la combinazione di ottimizzazione frazionaria con attivazioni frattali può migliorare le dinamiche di addestramento e le prestazioni complessive. L'articolo è accessibile su arXiv con l'identificatore 2608.14636.