La codifica posizionale ellittica di Weierstrass migliora i Vision Transformers

Un recente preprint su arXiv (2605.23719) presenta la codifica posizionale ellittica di Weierstrass (WePE) progettata per i Vision Transformers (ViT). I ViT tradizionali si basano su codifiche posizionali apprendibili unidimensionali, che non mantengono efficacemente la disposizione spaziale bidimensionale delle immagini una volta appiattiti i patch. WePE risolve questo problema proiettando le coordinate 2D normalizzate dei patch sul piano complesso e creando caratteristiche posizionali quadridimensionali compatte basate sulla funzione ellittica di Weierstrass e la sua derivata. La doppia periodicità della funzione offre una rappresentazione sistematica delle posizioni 2D, garantendo una relazione coerente tra le distanze spaziali euclidee e le distanze degli indici sequenziali. Questo approccio matematicamente solido mira a migliorare la capacità dei ViT di utilizzare i priori di prossimità spaziale, una caratteristica spesso assente nelle codifiche attuali a causa di vincoli geometrici inadeguati.