I LLM Mostrano Percezione Categoriale nei Confini Numero-Cifra
Una recente indagine indica che i grandi modelli linguistici (LLM) mostrano percezione categoriale (CP) nelle loro rappresentazioni di stato nascosto durante l'interpretazione dei numeri arabi. I ricercatori hanno impiegato l'analisi della similarità rappresentazionale su sei modelli appartenenti a cinque famiglie architetturali e hanno scoperto che un modello additivo CP (distanza logaritmica combinata con un incremento al confine) rappresenta meglio la geometria rispetto a un modello puramente continuo, raggiungendo questo risultato nel 100% degli strati primari per tutti i modelli esaminati. Questo fenomeno è legato a confini specifici nelle transizioni cifra-numero (10 e 100) e non è presente in posizioni di controllo né nel dominio della temperatura, dove le categorie linguistiche (caldo/freddo) non mostrano discontinuità di tokenizzazione. Sono stati identificati due distinti pattern qualitativi: "CP classico" (Gemma, Qwen), dove i modelli categorizzano e migliorano la discriminabilità ai confini, e un pattern diverso in altri modelli. I risultati, disponibili su arXiv (2603.28258), applicano principi di psicologia percettiva alle reti neurali artificiali.
Fatti principali
- La percezione categoriale (CP) è una maggiore discriminabilità ai confini di categoria.
- Lo studio utilizza l'analisi della similarità rappresentazionale su sei LLM di cinque famiglie architetturali.
- Un modello additivo CP si adatta meglio di un modello puramente continuo nel 100% degli strati primari di ogni modello testato.
- L'effetto è specifico per le transizioni cifra-numero a 10 e 100.
- Nessun effetto è stato riscontrato in posizioni di controllo non di confine.
- Nessun effetto è stato riscontrato nel dominio della temperatura (caldo/freddo).
- Due firme qualitative: 'CP classico' (Gemma, Qwen) e un altro pattern.
- L'articolo è pubblicato su arXiv con ID 2603.28258.
Entità
Istituzioni
- arXiv