Embedding Posizionali Informati dalla Sintassi Migliorano le Prestazioni dei Transformer

Un recente articolo pubblicato su arXiv presenta gli Embedding Posizionali Informati dalla Sintassi (SiPE), che incorporano le strutture sintattiche negli embedding posizionali dei modelli Transformer. Questa ricerca, accessibile su arXiv:2608.06111, rivela che SiPE acquisisce una priorità sintattica leggera dalle analisi di dipendenza durante il pre-addestramento, applicandola a tre principali famiglie di embedding posizionali: assoluti, relativi e rotatori, sia per encoder che per decoder. L'architettura e i meccanismi di auto-attenzione rimangono invariati. Gli autori hanno identificato i punti di integrazione ottimali per la priorità, mostrando che per i decoder autoregressivi con embedding posizionali relativi, un accoppiamento moltiplicativo con il termine di posizione relativa del punteggio di attenzione produce i migliori risultati. Per gli encoder, la priorità dovrebbe essere aggiunta direttamente agli embedding di input. Questo annuncio di tipo cross è stato rilasciato il 26 agosto 2026, indicando che l'integrazione delle informazioni sintattiche può migliorare le prestazioni dei Transformer in compiti che richiedono la comprensione della struttura delle frasi.