L'auto-formazione ristruttura il linguaggio, non lo appiattisce

Uno studio recente contesta la convinzione comune che l'auto-formazione ripetuta sugli output di un modello linguistico porti a una diminuzione della diversità linguistica e a un appiattimento del linguaggio. I ricercatori hanno esaminato undici generazioni di auto-formazione su cinque modelli (GPT-2 124M, Pythia-410M, Pythia-1.4B, OPT-1.3B, Pythia-2.8B) e hanno scoperto che il linguaggio subisce una ristrutturazione piuttosto che un semplice appiattimento. Hanno osservato un aumento di marcatori superficiali come connettivi discorsivi, esitazioni e trattini em, mentre strutture sintattiche più complesse, come domande, incisi, passive e congiuntivi, diminuiscono. Questo fenomeno è definito Ipotesi della Profondità Strutturale (Structural Depth Hypothesis, SDH), che suggerisce che il tasso di decadimento di una caratteristica linguistica correla principalmente con la sua profondità strutturale. La ricerca utilizza pannelli di 17 caratteristiche provenienti dai cinque modelli ed è accessibile su arXiv con riferimento 2605.20602.