I polinomi di Bernstein consentono un'attivazione neurale fluida ma efficiente

Un nuovo articolo su arXiv propone un quadro generale di smoothing per le funzioni di attivazione delle reti neurali utilizzando la teoria dell'approssimazione costruttiva. Gli autori introducono l'unità lineare di Bernstein (BerLU), che impiega polinomi di Bernstein per creare una regione di transizione quadratica differenziabile. Questo design elimina le singolarità all'origine preservando una struttura lineare a tratti, bilanciando la stabilità dell'ottimizzazione con l'efficienza computazionale. Il metodo affronta le limitazioni degli approcci esistenti: le funzioni lineari a tratti soffrono di non differenziabilità, mentre le funzioni lisce comportano costi computazionali elevati a causa di operazioni trascendentali. L'analisi teorica conferma la stretta continuità e differenziabilità. Il lavoro è rilevante per i professionisti del deep learning che cercano funzioni di attivazione efficienti ma stabili.