Generalizzazione della sintesi di programmi neurali mappata tramite grammatica aritmetica

Un nuovo preprint arXiv (2604.27551) introduce un ambiente controllato che utilizza una grammatica aritmetica specifica del dominio per valutare la generalizzazione in trasformatori su larga scala per la sintesi di programmi. Enumerando milioni di programmi unici e costruendo spazi metrici sintattici e semantici interpretabili, i ricercatori mappano con precisione le distribuzioni dei dati e isolano i cambiamenti distribuzionali. Gli esperimenti mostrano che ottimizzare la generalizzazione della densità attraverso un campionamento diversificato induce una robusta generalizzazione fuori distribuzione, mentre la generalizzazione del supporto rivela gravi difficoltà per i trasformatori. Lo studio mira a distinguere la vera generalizzazione dai modelli memorizzati, affrontando la contaminazione dei dati e i corpora di addestramento opachi.