Ottimizzazione del Gradiente di Rete Meta-Adattiva per l'Apprendimento Continuo Online

Un nuovo metodo chiamato Meta-Adaptive Network Gradient Optimization (MANGO) viene proposto per affrontare l'oblio catastrofico nell'Apprendimento Continuo Online (OCL). L'OCL implica una rete neurale che apprende sequenzialmente da un flusso di dati non stazionario in un unico passaggio con un buffer di replay di memoria limitato, a differenza dell'apprendimento continuo offline che si basa su più epoche su grandi set di dati. La sfida principale è bilanciare la stabilità (mantenere i compiti passati) e la plasticità (apprendere nuovi compiti). Gli approcci esistenti come il rehearsal basato su replay, la distillazione a livello di output, la regolarizzazione fissa e il meta-apprendimento solo su flusso hanno limitazioni: il rehearsal introduce un bias dei campioni memorizzati; la distillazione non modula gli aggiornamenti dei parametri; la regolarizzazione fissa penalizza i parametri indipendentemente dalla sensibilità; il meta-apprendimento solo su flusso manca di aggiornamenti dei parametri controllati da feedback. MANGO mira a superare questi problemi introducendo un framework di ottimizzazione del gradiente meta-adattivo che regola dinamicamente gli aggiornamenti dei parametri in base alla rilevanza e alla sensibilità del compito. Il metodo è dettagliato in un preprint su arXiv (2605.19080).