Gated DeltaNet-2 separa cancellazione e scrittura nell'attenzione lineare

Una recente pubblicazione su arXiv presenta Gated DeltaNet-2, che presenta un meccanismo di attenzione lineare che distingue tra funzioni di cancellazione e scrittura attraverso l'uso di gate per canale. Questa attenzione lineare sostituisce la cache illimitata dell'attenzione softmax con uno stato ricorrente di dimensione fissa, consentendo il mixing di sequenze in tempo lineare e memoria costante per la decodifica. La difficoltà sta nel modificare questa memoria compatta senza interrompere le connessioni esistenti. I modelli Delta-rule comportano la sottrazione della lettura corrente prima di scrivere un nuovo valore, mentre Kimi Delta Attention (KDA) migliora l'oblio attraverso un decadimento per canale. Tuttavia, la modifica attiva si basa ancora su un singolo gate scalare per entrambe le operazioni. Gated DeltaNet-2 migliora Gated DeltaNet e KDA separando queste funzioni con distinti gate di cancellazione per canale b_t e gate di scrittura.