Studio Sfida i Parallelismi Neurali nei LLM: Fattori di Confusione nella Misurazione in un Audit Cross-Famiglia
Un recente preprint disponibile su arXiv (2608.08159) sfida le affermazioni secondo cui i grandi modelli linguistici (LLM) mostrano tratti neurali e cognitivi simili a quelli umani. I ricercatori sostengono che queste affermazioni dipendono frequentemente da tecniche come il probing lineare e lo steering dell'attivazione, che sono influenzate da come vengono effettuate le misurazioni. Hanno valutato quattro framework ispirati alle neuroscienze su 17 modelli, con parametri che vanno da 0,6B a 72B. Il loro esperimento principale riguardante la steerability causale delle direzioni concettuali ha indicato che la steerability sembrava crescere con la dimensione del modello, imitando un'abilità emergente. Tuttavia, questa tendenza è stata identificata come un sottoprodotto di un processo non calibrato correttamente. I risultati evidenziano la necessità di misurazioni precise nell'interpretabilità dell'IA e mettono in guardia contro l'estensione eccessiva dei confronti tra LLM ed entità biologiche, che potrebbe influenzare le discussioni sull'allineamento dell'IA e sull'intelligenza artificiale generale.
Fatti principali
- Lo studio esamina quattro paradigmi ispirati alle neuroscienze su 17 modelli provenienti da cinque famiglie.
- I modelli variano da 0,6B a 72B parametri.
- L'esperimento principale esamina la steerability causale delle direzioni concettuali.
- La steerability sembra aumentare con la scala del modello quando si utilizzano unità di attivazione grezze e layer/coefficiente fissi.
- La tendenza apparente è prodotta da un pipeline non calibrato, non da una genuina capacità emergente.
- La tendenza dipende dalle unità grezze, dal layer di lettura e dal coefficiente di steering.
- L'articolo è un preprint su arXiv con ID 2608.08159.
- Lo studio sfida le affermazioni di firme neurali simili a quelle umane nei LLM.
Entità
Istituzioni
- arXiv