La Granularità dei Dati di Addestramento Determina la Modularità Parametrica nei LLM

Un recente preprint su arXiv (2608.10214) esplora la presenza di involucri parametrici specifici del dominio all'interno di modelli linguistici di grandi dimensioni. Questi involucri sono costituiti da gruppi di neuroni che, se rimossi, compromettono le prestazioni in domini specifici senza influenzare gli altri. La ricerca impiega un approccio causale coerente su tre famiglie di modelli (da 1,5B a 7B parametri) e otto domini, analizzando due livelli di granularità del dominio. A livello di materia accademica, nessun neurone supera il 60% di selettività di dominio tra 939.008 neuroni FFN, con matrici di danno piatte, nonostante si raggiunga oltre l'85% di accuratezza nell'identità del dominio. Al contrario, a livello di lingua e modalità, lo 0,65–1,14% dei neuroni supera il 60% di selettività, con matrici di danno che mostrano pattern quasi perfettamente diagonali. Mascherare i neuroni selettivi per il codice comporta una diminuzione di 16–24 punti percentuali nell'accuratezza del ragionamento matematico in tutti i modelli, mentre mascherare i neuroni relativi allo spagnolo o al cinese mantiene le prestazioni a livelli casuali. I risultati indicano che la modularità parametrica varia in base alla granularità, rivelando strutture modulari in domini a grana grossa ma non in materie accademiche a grana fine. Questo studio offre approfondimenti sull'esistenza di circuiti neurali specifici del dominio nei LLM, che potrebbero influenzare l'interpretabilità e gli interventi mirati. La ricerca è condotta da un team di studiosi ed è disponibile sul server di preprint arXiv.