SWE-Mutation: un benchmark per valutare le suite di test generate da LLM

È stato introdotto un nuovo benchmark chiamato SWE-Mutation per valutare la qualità delle suite di test generate da modelli linguistici di grandi dimensioni (LLM) per compiti di ingegneria del software. Il benchmark utilizza soluzioni sistematicamente mutate progettate per 'ingannare' le suite di test e superare la validazione, affrontando il collo di bottiglia della scarsità di suite di test di alta qualità. Le suite di test generate da LLM sono spesso superficiali e mancano di potere discriminante, ostacolando la riparazione dei programmi e l'apprendimento per rinforzo. SWE-Mutation mira a essere un primo passo verso la costruzione di suite di test di alta qualità.