Lo studio Porting Benchmark rivela lacune prestazionali negli strumenti automatizzati di backporting delle patch di sicurezza

Un nuovo benchmark chiamato Porting Benchmark viene introdotto in un articolo arXiv, offrendo un dataset curato di 1.234 casi di backporting di patch di sicurezza. Questi casi coprono scenari cross-version, cross-branch e cross-repository, e sono abbinati a un quadro di valutazione comune. Lo studio valuta cinque strumenti in condizioni allineate, coprendo analisi dei programmi, prompting LLM e agenti LLM. I risultati dimostrano che le condizioni di valutazione influenzano significativamente le prestazioni riportate. Mentre gli strumenti precedenti dichiaravano tassi di successo superiori all'80% sui propri dataset, la valutazione allineata sposta il panorama delle prestazioni apparenti. In particolare, PortGPT e TSBPort mantengono prestazioni relativamente forti sul Replication Dataset, mentre FixMorph e Mystique degradano sostanzialmente sotto la valutazione coordinata. Questo lavoro affronta il problema delle valutazioni confinate in ambienti omogenei, come un singolo repository o specifiche versioni di progetto, che lasciano poco chiara la generalizzazione. Fornendo un benchmark standardizzato, Porting Benchmark consente confronti più affidabili e evidenzia l'importanza di metodologie di valutazione robuste per il backporting delle patch di sicurezza. L'articolo è identificato come arXiv:2608.17671 ed è disponibile sulla piattaforma arXiv.