Nuova ricerca propone Vision Transformer gerarchico potenziato da Graph Convolutional Network

Un nuovo articolo di ricerca propone un modello ibrido per la classificazione delle immagini, combinando Vision Transformers (ViT) con Graph Convolutional Networks (GCN). Il lavoro affronta le principali limitazioni di entrambe le architetture. I Vision Transformers, che si basano su meccanismi di self-attention, affrontano sfide nella selezione delle dimensioni ottimali dei patch per previsioni accurate. I loro embedding di posizione 1D non riescono inoltre a catturare informazioni precise sulla struttura spaziale dai patch di immagini. Al contrario, mentre i GCN eccellono nella modellazione delle relazioni di connettività locale tra i nodi dell'immagine, mancano della capacità di catturare informazioni strutturali globali del grafo. Il modello gerarchico proposto mira a integrare i punti di forza di entrambi gli approcci. Combinando il meccanismo di self-attention del ViT, che può stabilire dipendenze globali, con la capacità del GCN di modellare relazioni locali, la ricerca cerca di creare un framework più completo per la rappresentazione e l'analisi dei dati visivi. L'articolo, identificato come arXiv:2604.16823v1, è stato annunciato come abstract interdisciplinare. Questa ricerca contribuisce alle continue scoperte nel campo della visione artificiale e della classificazione delle immagini iniziate con l'introduzione dei Vision Transformers.