Garanzie Teoriche per Distinguere gli LLM tramite Sistemi Dinamici

Un nuovo studio su arXiv (2607.28667) presenta un approccio teorico per classificare i modelli linguistici di grandi dimensioni (LLM) considerando gli embedding dei token come percorsi in un sistema dinamico (DS) a scatola nera. Gli autori descrivono questa classificazione come un test di ipotesi binario che coinvolge due DS lineari stocastici. Mostrano che, anche con differenze notevoli nella dinamica, la distanza di variazione totale tra le distribuzioni marginali stazionarie può essere minimizzata, stabilendo un limite all'accuratezza dei classificatori che ignorano la dinamica dei token. I ricercatori trovano anche che la probabilità di errata classificazione diminuisce esponenzialmente con l'aumentare della lunghezza della sequenza di token. Infine, l'articolo affronta la scalabilità e la trasferibilità dei modelli di embedding, colmando le lacune della ricerca precedente e collegando la teoria all'evidenza empirica nell'impronta digitale degli LLM e nell'attribuzione di paternità.