Controllo Causale dell'Identità Linguistica nei LLM: Un Nuovo Studio

C'è un nuovo preprint su arXiv, numerato 2608.12334, che approfondisce come funziona l'identità linguistica nei Large Language Models (LLM). Esamina se possiamo decodificare questa identità dagli stati nascosti o se può essere influenzata attraverso una specifica direzione di attivazione. I ricercatori hanno analizzato vari modelli, come Qwen 3.5-2B e Llama-3.2-1B-Instruct, utilizzando interventi causali. Hanno condotto esperimenti su oltre 1,26 milioni di generazioni con il dataset FLORES-200, scoprendo che guidare questi modelli in determinate direzioni cambia efficacemente lingua, sia dall'inglese al cinese che dall'inglese allo spagnolo. Curiosamente, cambiamenti casuali non hanno realmente influenzato il risultato. La loro analisi ha rivelato che l'impegno linguistico è piuttosto specifico, suggerendo che possiamo controllare l'identità linguistica nei LLM, il che potrebbe migliorare le capacità multilingue.