Diagnostica della Memorizzazione Sensibile alla Scala per LLM di Codice

Un nuovo preprint arXiv (2608.12771) indaga l'affidabilità delle tecniche di rilevamento della memorizzazione nei grandi modelli linguistici per il codice, rivelando che i metodi di sondaggio tradizionali falliscono su larga scala. Lo studio rileva che i probe in stile encoder che utilizzano perturbazioni come il fuzzing di sinonimi o l'inserimento di codice morto, e i probe in stile decoder che si basano sulle probabilità logaritmiche, degradano gravemente quando applicati a modelli più grandi, anche su benchmark noti per essere contaminati. Gli autori sostengono che la memorizzazione e il carico di rappresentazione dovrebbero essere trattati come fenomeni separati, e propongono l'uso di trasformazioni matematiche invertibili su problemi numerici per isolare questi fattori. La ricerca evidenzia la necessità di diagnostiche sensibili alla scala nella valutazione dei LLM di codice, poiché i metodi attuali potrebbero sottostimare la memorizzazione nei modelli scalati. Il preprint è stato annunciato su arXiv con una classificazione incrociata, e il testo completo è disponibile all'URL fornito.