Funzioni di Attivazione Chiave per Mantenere la Plasticità nell'Apprendimento Continuo

Uno studio recente pubblicato su arXiv (2509.22562) esamina l'impatto delle funzioni di attivazione sulla perdita di plasticità nell'apprendimento continuo, una sfida che va oltre il dimenticare catastrofico, in cui i modelli faticano a mantenere l'adattabilità. I risultati indicano che la scelta delle funzioni di attivazione funge da leva chiave, indipendente dall'architettura, per alleviare questo problema. Gli autori analizzano la forma del ramo negativo e gli effetti di saturazione, proponendo due nuove non linearità drop-in: Smooth-Leaky e Randomized Smooth-Leaky. Queste non linearità vengono testate in benchmark supervisionati di apprendimento incrementale per classi e in apprendimento per rinforzo in ambienti MuJoCo dinamici. La ricerca sottolinea che, mentre le differenze nelle funzioni di attivazione diminuiscono con la messa a punto in contesti i.i.d., la loro importanza rimane cruciale e ampiamente trascurata negli scenari di apprendimento continuo.