Vector Network: Una Nuova Architettura per l'Apprendimento Composizionale

Un nuovo framework ricorrente gerarchico chiamato Vector Network (VN) è stato sviluppato dai ricercatori, che sostituisce le matrici di peso fisse nei modelli di deep learning con collezioni di atomi di peso riutilizzabili di rango 1. Per ogni input, VN ottimizza un'energia specifica del layer per determinare una selezione sparsa di atomi di peso attivi e i loro coefficienti corrispondenti, rispettando i vincoli di ricostruzione dell'input dal basso verso l'alto e di coerenza del feedback dall'alto verso il basso. Questi coefficienti formano una matrice di peso a basso rango adattata all'input. Dopo la convergenza, solo gli atomi di peso selezionati vengono aggiornati tramite apprendimento lento, utilizzando segnali residui locali regolati dai coefficienti inferiti. Il VN è stato testato su quattro benchmark composizionali che coinvolgono segnali 1D e dati 2D. L'articolo è disponibile su arXiv con l'identificatore 2605.28007.