Unità Ricorrente a Memoria Cumulativa Migliora le Prestazioni delle RNN per l'IA a Basso Consumo

Un team di ricercatori ha presentato l'Unità Ricorrente a Memoria Cumulativa (CMRU) insieme alla sua versione rilassata, αCMRU, che si basa sull'Unità Ricorrente a Memoria Bistabile (BMRU) per migliorare le RNN a bassissimo consumo. Sebbene la BMRU fosse stata progettata per il co-design hardware-software con stati quantizzati e isteresi, faticava in compiti sequenziali complessi. La nuova formulazione di aggiornamento cumulativo migliora il flusso del gradiente implementando connessioni di salto nel tempo, affrontando efficacemente il blocco del gradiente durante gli aggiornamenti di stato. I risultati sperimentali indicano prestazioni e stabilità migliorate nell'apprendimento. Questa ricerca si concentra su applicazioni a bassissimo consumo, cercando di raggiungere un equilibrio tra efficienza energetica e capacità di apprendimento sequenziale. L'articolo è disponibile su arXiv, riferimento 2605.11855.