Trasferimento Cross-Linguale nei Modelli Linguistici Studiato tramite un Approccio In-Vitro

Una recente indagine pubblicata su arXiv (2605.26683) esamina il trasferimento cross-linguale all'interno dei modelli linguistici attraverso un approccio in-vitro, utilizzando due lingue generate proceduralmente che condividono la stessa ontologia, grammatica e composizione, ma variano nell'aspetto superficiale. I ricercatori hanno condotto 700 esperimenti controllati, regolando indipendentemente fattori come la distanza lessicale, la proporzione della lingua minoritaria, i metodi di addestramento del tokenizer e la dimensione del vocabolario. I loro risultati indicano che l'efficacia del trasferimento è influenzata più dalla preservazione della sottostruttura cross-linguale riutilizzabile durante la tokenizzazione che dall'equilibrio del tokenizer o dalla somiglianza lessicale. Inoltre, vocabolari più piccoli hanno migliorato il trasferimento mascherato consentendo la scomposizione delle parole in componenti condivisi, mentre vocabolari più grandi potevano ostacolare questo processo. Lo studio si concentra su uno scenario di lingua minoritaria mascherata non incontrato durante l'addestramento.