I Dati, Non l'Architettura, Determinano le Preferenze sull'Ordine delle Parole nei Modelli Linguistici

Una recente indagine pubblicata su arXiv (2608.15129) esamina approfonditamente le preferenze per l'ordine delle parole nei modelli linguistici decoder-only, analizzando 192 lingue artificiali insieme a una varietà di lingue naturali. I risultati indicano che questi modelli favoriscono strutture ramificanti a sinistra nelle lingue artificiali, che non corrispondono agli universali linguistici naturali stabiliti né ai bias umani nell'acquisizione dell'ordine delle parole. Per le lingue naturali, i modelli monolingue inizialmente non mostrano una preferenza distinta per l'ordine base delle parole a scale di dati più piccole; tuttavia, all'aumentare del dataset, emerge una tendenza verso strutture ramificanti a destra soggetto-verbo-oggetto (SVO), mentre le strutture soggetto-oggetto-verbo (SOV), nonostante siano le più comuni a livello globale, restano indietro. Questa preferenza per SVO è evidente anche nei modelli multilingue, legata più alla qualità e quantità delle risorse linguistiche che a specifici ordini delle parole. La ricerca, condotta da team del MIT, Stanford e Google Research, è stata rilasciata il 26 agosto 2025 e mette in discussione l'idea di bias architetturali intrinseci nei modelli linguistici, sottolineando l'impatto significativo della composizione dei dati di addestramento sulle preferenze sintattiche.