MIITA: Apprendimento Continuo Basato sulla Memoria per Piccoli Modelli Linguistici

I ricercatori propongono MIITA, un framework di adattamento al momento dell'inferenza indotto dalla memoria per l'apprendimento continuo con piccoli modelli linguistici (SLM). Il metodo affronta l'oblio catastrofico memorizzando esperienze supervisionate come prototipi compatti di direzione di correzione con ancore semantiche, recuperati durante l'inferenza utilizzando segnali semantici e di incertezza. L'adattamento temporaneo gated dello stato nascosto consente il riutilizzo non distruttivo della supervisione passata senza aggiornare i parametri del modello. L'approccio è destinato a implementazioni con risorse limitate in cui gli SLM devono adattarsi a esigenze del mondo reale in evoluzione.