L'allocazione attenzionale con budget aumenta l'efficienza dei transformer

Una nuova tecnica chiamata Budgeted Attention Allocation consente ai transformer di operare a diversi livelli di costo-qualità utilizzando un singolo modello addestrato. Questo metodo incorpora un sistema di gating monotono delle teste basato sul budget di attenzione specificato. È stata evidenziata l'importanza del warm-starting denso per la stabilità. In un compito di sequenze sintetiche, il modello con budget ha registrato un'impressionante accuratezza del 99,7% a un costo di attenzione stimato di 0,303 e ha raggiunto il 100,0% a un costo di 0,504. Per AG News, un transformer personalizzato a livello di parola con adattamento a gate duro ha ottenuto un'accuratezza dell'82,1% e un'accelerazione di 1,28x con un budget di 0,50. Inoltre, il pruning strutturale con budget su un BERT-Mini preaddestrato ha prodotto un'accuratezza dell'87,6% con un'accelerazione di 1,20x allo stesso budget, superando una baseline densa zero-shot post-hoc (86,1%) e avvicinandosi molto a uno specialista per budget dopo un'epoca di recupero (87,9%). L'approccio è stato valutato anche su DBpedia14 utilizzando BERT-Mini.