Il Test Metamorfico Rivela la Memorizzazione nella Riparazione di Programmi Basata su LLM
Un nuovo studio da arXiv (2604.21579) indaga la fuga di dati nella riparazione automatica di programmi (APR) basata su LLM. I ricercatori combinano il test metamorfico (MT) con la log-verosimiglianza negativa (NLL) per diagnosticare la memorizzazione. Costruiscono benchmark varianti applicando trasformazioni che preservano la semantica ai dataset Defects4J e GitBug-Java. Valutando sette LLM sulle versioni originali e trasformate, scoprono che tutti i modelli all'avanguardia mostrano cali sostanziali nei tassi di successo delle patch, indicando che la memorizzazione gonfia le stime delle prestazioni.
Fatti principali
- Il paper arXiv 2604.21579 indaga la memorizzazione nell'APR basata su LLM
- Combina test metamorfico con log-verosimiglianza negativa
- Utilizza i dataset Defects4J e GitBug-Java
- Applica trasformazioni che preservano la semantica per creare benchmark varianti
- Valuta sette LLM sulle versioni originali e trasformate
- Tutti i LLM valutati mostrano cali sostanziali nei tassi di successo delle patch
- La fuga di dati gonfia le stime delle prestazioni nell'APR
- Il test metamorfico aiuta a rivelare la memorizzazione
Entità
Istituzioni
- arXiv