Dinamiche di Glauber sui modelli linguistici mascherati: analisi del tempo di mixing

Un recente studio teorico pubblicato su arXiv (2605.16378) esplora le caratteristiche distributive globali dei modelli linguistici mascherati (MLM) durante la generazione iterativa. I ricercatori rappresentano il ricampionamento iterativo dei token mascherati come una catena di Markov di Glauber applicata a sequenze di token. Propongono un test rettangolare per dimostrare l'incompatibilità intrinseca dei condizionali MLM, confermandone l'ampia presenza nei MLM contemporanei. I risultati teorici indicano che, con una limitata influenza incrociata tra token, un risultato di contrazione ad alta temperatura suggerisce un tempo di mixing di O(n log n), dove n rappresenta la lunghezza della sequenza. Al contrario, in una condizione di margine locale uniforme, il comportamento della catena differisce. Questo studio affronta una questione cruciale riguardante l'affidabilità dei MLM come modelli generativi.