I Modelli Transformer Mostrano una Doppia Geometria nella Rappresentazione dei Concetti

Un recente studio pubblicato su arXiv indaga il ruolo del prodotto interno causale derivato dalla covarianza di unembedding nel migliorare il trasferimento di concetti tra lingue tramite architetture transformer. La ricerca ha analizzato 17 modelli in quattro diverse coppie linguistiche e ha scoperto che l'Allineamento Causale Sbiancato si comporta in modo simile alla regolarizzazione spettrale, raggiungendo un livello di significatività statistica di p = 0.95. In particolare, le differenze tra cinque tipi di modelli hanno mostrato una significativa anti-concentrazione (p < 10^{-33}), supportata dall'analisi delle caratteristiche SAE (p = 4.5 × 10^{-19}). Le osservazioni chiave includono pattern geometrici unici negli spazi di attivazione e interventi efficaci sui modelli Gemma e Llama, con valori d di Cohen fino a 1.8.