Reti Neurali Non Supervisionate Concatenano il Parlato Spontaneamente

Uno studio recente pubblicato su arXiv suggerisce che il processo fondamentale dell'evoluzione sintattica—la concatenazione—può essere modellato direttamente dal parlato non elaborato attraverso reti neurali profonde non supervisionate. I ricercatori hanno utilizzato modelli ciwGAN/fiwGAN, basati su reti neurali convoluzionali, addestrandoli su registrazioni acustiche di singole parole. Sorprendentemente, senza alcun accesso a dataset di più parole, questi modelli hanno iniziato a produrre output che includevano due o tre parole combinate, un fenomeno chiamato "concatenazione spontanea". Questo risultato è stato osservato in modo consistente in più modelli addestrati indipendentemente con diversi iperparametri e dataset. Inoltre, le reti addestrate su coppie di parole hanno dimostrato la capacità di creare nuove combinazioni mai viste, indicando i primi segni di composizionalità. Questa ricerca mette in discussione il tradizionale focus testuale dei modelli sintattici computazionali.