La sintassi dei test influenza la qualità della generazione di codice AI

Un'ampia indagine empirica che utilizza il framework SEGA ha analizzato oltre 830 file generati, 12 modelli e 3 fornitori. I risultati indicano che la sintassi dei test inline, in particolare i doctest di Python, raggiunge una conservazione quasi perfetta al 100% e un tasso di correttezza compreso tra il 92% e il 100% per la generazione di codice AI. Al contrario, la sintassi dei test separati, come i blocchi #[test] di Rust, rivela significative discrepanze nelle prestazioni del modello, con una correttezza che varia dallo 0% al 100%, evidenziando la mancanza di correlazione tra conservazione e correttezza. Questa ricerca, disponibile su arXiv (2604.19826), valuta i formati di test inline rispetto a quelli separati su un'implementazione di heap d-ary, notando che le prestazioni del modello cambiano nel corso delle generazioni, con un modello che fallisce significativamente nel sopprimere i test.