Nuova Metrica Misura l'Effetto di Disorientamento del Codice Errato sui Test Unitari degli LLM
Un nuovo studio da arXiv (2607.22883) introduce una metrica per quantificare l'"effetto di disorientamento", in cui prompt di codice errato inducono gli LLM a generare test unitari che convalidano il comportamento erroneo anziché esporlo. L'analisi mostra un duplice impatto: un aumento di test fuorvianti che affermano un comportamento scorretto e la soppressione della generazione di test efficaci per la ricerca di bug. L'effetto è corroborato da una prospettiva interna al modello, mostrando che il codice errato distorce le preferenze degli LLM verso test che affermano gli stessi errori. L'articolo propone un paradigma di generazione di test unitari basato su specifiche per contrastare questo fenomeno.
Fatti principali
- L'articolo arXiv 2607.22883 introduce una metrica per l'effetto di disorientamento
- Prompt di codice errato inducono gli LLM a generare test che convalidano errori
- Duplice impatto: più test fuorvianti, meno test di ricerca bug
- L'analisi interna al modello conferma una distorsione delle preferenze verso asserzioni errate
- Proposto un paradigma basato su specifiche come mitigazione
Entità
Istituzioni
- arXiv