I Modelli di Dialogo AI Mostrano Sincronizzazione Neurale Come gli Umani

Uno studio incentrato sulla sincronizzazione e il turn-taking nei modelli di dialogo parlato full-duplex (SDM) è stato pubblicato da ricercatori di un'istituzione non nominata su arXiv (2605.20356). Ispirandosi all'accoppiamento neurale osservato nelle interazioni umane, il team ha condotto simulazioni di dialoghi tra due versioni del modello pre-addestrato Moshi in un ambiente controllato, variando il rumore del canale e il bias di decodifica. Hanno valutato la sincronizzazione utilizzando il Centered Kernel Alignment (CKA) su diversi ritardi temporali ed esplorato i segnali anticipatori di turn-taking da attivazioni interne ritardate attraverso modelli LSTM causali, considerando sia il punto di vista del parlante che dell'ascoltatore. I risultati hanno rivelato una significativa sincronizzazione rappresentazionale in assenza di rumore, con un picco a ritardo zero e una diminuzione all'aumentare del rumore. È emerso che gli stati interni codificano informazioni predittive per il turn-taking, migliorando la comprensione di come l'IA possa facilitare scambi conversazionali più naturali.