ImproBR: pipeline LLM automatizza il miglioramento dei bug report
I ricercatori hanno lanciato ImproBR, un nuovo strumento che sfrutta modelli linguistici di grandi dimensioni per migliorare i bug report, correggendo problemi come dettagli vaghi o mancanti. Questo sistema innovativo combina un modello DistilBERT finemente ottimizzato, metodi euristici e un analizzatore LLM, il tutto guidato da GPT-4o mini con prompt personalizzati e un framework che attinge informazioni da Minecraft Wiki. Nei test condotti su Mojira, ImproBR ha aumentato drasticamente la completezza strutturale dei report dal 7,9% a un impressionante 96,4%. Ha anche più che raddoppiato il tasso di passaggi riproducibili eseguibili, passando dal 28,8% al 67,6%, e ha incrementato i bug report completamente riproducibili da 1 a 13 su 139 casi complessi.
Fatti principali
- ImproBR è una pipeline basata su LLM per il miglioramento dei bug report.
- Si concentra sulle sezioni S2R, OB ed EB mancanti, incomplete e ambigue.
- Utilizza un rilevatore ibrido con DistilBERT ottimizzato, analisi euristica e analizzatore LLM.
- Guidato da GPT-4o mini con prompt few-shot e pipeline RAG.
- La pipeline RAG è basata sulla conoscenza del dominio di Minecraft Wiki.
- Valutato sul sistema di tracciamento bug Mojira.
- La completezza strutturale è migliorata dal 7,9% al 96,4%.
- La proporzione di S2R eseguibili è aumentata dal 28,8% al 67,6%.
- I report completamente riproducibili sono passati da 1 a 13 su 139 report.
Entità
Istituzioni
- Mojira
- Minecraft Wiki