Trasferimento di Simmetria nei LLM tramite Ottimizzazione Layer-Peeled

Un nuovo studio analizza se il pre-addestramento di grandi modelli linguistici minimizzando la perdita di entropia incrociata per la previsione del token successivo induce una struttura geometrica nei pesi appresi e negli embedding di contesto. Utilizzando un programma di ottimizzazione layer-peeled vincolato come surrogato trattabile, gli autori dimostrano che le simmetrie nelle distribuzioni target dei token successivi si trasferiscono ai minimizzatori globali in senso gruppoteorico. In particolare, quando i token target mostrano simmetria di spostamento ciclico (ad esempio, giorni della settimana, mesi dell'anno), la matrice logit ottimale diventa esattamente circolante, e le matrici di Gram degli embedding di contesto riflettono la stessa simmetria. Il lavoro fornisce basi matematiche per comprendere come l'ottimizzazione modella le rappresentazioni nei LLM.