Modelli Linguistici di Grandi Dimensioni Graduati: Un Quadro Algebrico

Un nuovo articolo su arXiv introduce i Modelli Linguistici di Grandi Dimensioni Graduati (GLLM), un quadro algebrico che aggiunge una struttura di gradazione agli spazi di rappresentazione dei transformer. Questa gradazione si propaga attraverso embeddings, self-attention e obiettivi di addestramento, estendendo le reti neurali graduate e i transformer graduati ai modelli linguistici autoregressivi. Il quadro preserva il potere espressivo, la complessità computazionale asintotica e il costo di inferenza. La visione geometrica si basa sulla teoria degli invarianti geometrici, con benefici espressi tramite un funzionale di Kempf–Ness sul toro di gradazione. I gradi che migliorano rispetto all'architettura uniforme formano un cono convesso aperto, deciso da un criterio di tipo Hilbert–Mumford. I gradi ottimali sono dati da un punto di coincidenza in forma chiusa di due mappe momento.