Le architetture di deep learning falliscono nell'indicizzazione primitiva senza mascheramento

Un recente studio pubblicato su arXiv (2607.22361) esamina i colli di bottiglia informativi nei modelli contemporanei di deep learning, come RNN, transformer softmax, transformer ad attenzione lineare e modelli spazio-stato, utilizzando la primitiva di indicizzazione come quadro di riferimento. In questo contesto, l'input comprende n bit e un intero i (l'indice), con output il valore dell'i-esimo bit. I ricercatori presentano il concetto di complessità causale per architetture mascherate, rivelando che quelle con bassa complessità causale non sono in grado di risolvere la primitiva di indicizzazione in un numero costante di strati se l'indice è posizionato alla fine dell'input. Ciò vale per RNN a bassi parametri, SSM e transformer ad attenzione lineare mascherati. Al contrario, piccoli transformer softmax possono risolverlo in un singolo strato, mentre i transformer ad attenzione lineare non mascherati richiedono due strati, distinguendosi dalle loro versioni mascherate. Quando l'indice è all'inizio, piccoli RNN sono in grado di risolverlo.