I LLM codificano la granularità dei ruoli sociali lungo un asse geometrico dominante
Uno studio recente rivela che i modelli linguistici di grandi dimensioni (LLM) rappresentano la complessità dei ruoli sociali—da individuali a istituzionali—lungo un significativo asse geometrico. I ricercatori hanno introdotto un Asse di Granularità basato sul contrasto tra gli stati nascosti medi dei macro- e micro-ruoli. In Qwen3-8B, questo asse corrisponde alla componente principale (PC1) dello spazio di rappresentazione dei ruoli con una similarità coseno di 0,972, spiegando il 52,6% della varianza. Il team di ricerca ha identificato 75 ruoli sociali su cinque livelli di granularità e raccolto 91.200 risposte condizionate da questi ruoli attraverso vari prompt. I risultati indicano che le proiezioni dei ruoli aumentano costantemente lungo l'asse, sottolineando la granularità come fattore organizzativo chiave per i ruoli sociali sollecitati negli LLM. L'articolo è disponibile su arXiv con identificatore 2605.06196.
Fatti principali
- Asse di Granularità definito come differenza tra gli stati nascosti medi dei macro- e micro-ruoli
- In Qwen3-8B, l'asse si allinea con PC1 con coseno 0,972
- L'asse spiega il 52,6% della varianza nello spazio di rappresentazione dei ruoli
- 75 ruoli sociali costruiti su cinque livelli di granularità
- 91.200 risposte condizionate dai ruoli raccolte
- Le proiezioni dei ruoli aumentano monotonamente lungo l'asse
- Lo studio mostra che la granularità è l'asse geometrico dominante per i ruoli sociali negli LLM
- Articolo disponibile su arXiv:2605.06196
Entità
Istituzioni
- arXiv