Curvatura Rappresentazionale dei LLM Collegata all'Incertezza Comportamentale

Una recente indagine pubblicata su arXiv (2604.23985) rivela una chiara connessione tra le caratteristiche geometriche delle rappresentazioni interne nei modelli linguistici di grandi dimensioni e l'incertezza a livello di token nel loro comportamento. Lo studio evidenzia che la curvatura contestuale—indicativa della nitidezza del percorso rappresentazionale basato sul contesto recente—mostra una correlazione con l'entropia del token successivo sia in GPT-2 XL che in Pythia-2.8B. Questa correlazione si sviluppa durante il processo di addestramento. Esperimenti che coinvolgono perturbazioni indicano che interventi allineati con la traiettoria influenzano efficacemente l'entropia, mentre quelli disallineati non producono alcun impatto. Questa ricerca stabilisce un collegamento meccanicistico tra la geometria delle rappresentazioni e il comportamento del modello, ampliando l'idea di raddrizzamento temporale alle previsioni a livello di token.