Active-SWE: Benchmark per Agenti di Codifica per la Correzione Proattiva di Bug

Active-SWE è un nuovo benchmark introdotto in un articolo di ricerca su arXiv (2608.04682) che valuta gli agenti di codifica basati su modelli linguistici di grandi dimensioni (LLM) sulla loro capacità di scoprire e correggere in modo proattivo più bug senza fare affidamento su segnalazioni di problemi. Il benchmark copre 1.663 compiti in sei categorie di bug e otto linguaggi di programmazione, spostando l'attenzione dalla correzione reattiva di bug (dove vengono fornite segnalazioni dettagliate) alla correzione proattiva. La costruzione di Active-SWE coinvolge un nuovo metodo di selezione dei compiti sensibile alla difficoltà, come descritto nell'abstract. Questo lavoro affronta una lacuna pratica nell'ingegneria del software, dove segnalazioni di problemi di alta qualità non sono sempre disponibili. Il benchmark mira a consentire una valutazione più approfondita degli agenti di codifica espandendo l'ambito alla correzione di più bug e agli scenari di scoperta potenziale di bug. L'articolo è scritto da ricercatori ed è stato annunciato come una sottomissione di tipo 'cross' su arXiv.