I LLM collassano lettura e scrittura in un unico codice intrecciato
Una recente indagine pubblicata su arXiv (2607.24797) esplora come i modelli linguistici di grandi dimensioni (LLM) decoder-only uniscano le distinte funzioni cognitive umane della lettura e della scrittura in un meccanismo unificato. Negli esseri umani, queste funzioni operano come due sistemi separabili: una via ventrale di decodifica (compromessa nell'alessia pura) e una via fronto-parietale di codifica (compromessa nell'agrafia pura), entrambe basate su un comune fondamento ortografico. Al contrario, gli LLM utilizzano un'unica via autoregressiva ottimizzata per il testo, un costrutto culturale relativamente nuovo. Lo studio contrappone un 'codice di lettura' W_E lato input a un 'codice di scrittura' W_U lato output attraverso un indice di intreccio E compreso tra [0,1], impiegando metodi come CKA e residuo di Procrustes. L'analisi di nove sonde su modelli come GPT-2, OPT, Pythia (14M–1.4B), T5 e BERT/RoBERTa rivela che due livelli complementari si allineano in direzione. Nei pesi, i modelli non legati mostrano un accoppiamento ma sub...
Fatti principali
- Lo studio su arXiv 2607.24797 esamina lettura e scrittura negli LLM rispetto agli umani
- La lettura e la scrittura umane sono doppiamente dissociabili: via ventrale di decodifica (alessia pura) e via fronto-parietale di codifica (agrafia pura)
- Gli LLM decoder-only usano un'unica via autoregressiva sia per leggere che per scrivere
- Indice di intreccio E ∈ [0,1] misurato tramite CKA, residuo di Procrustes, k-NN reciproco
- Calibrato rispetto al pavimento di inizializzazione indipendente e al soffitto legato
- Nove sonde su GPT-2, OPT, Pythia (14M–1.4B), T5, BERT/RoBERTa
- Sei sonde consolidano risultati noti, tre introducono analisi lettura/scrittura
- Due livelli complementari concordano in direzione
Entità
Istituzioni
- arXiv