Studio Rivela Come gli LLM Leggono i Report di Bug per la Riparazione Automatica del Software

È stato condotto uno studio empirico per esplorare la distribuzione dell'attenzione nei Large Language Models (LLM) utilizzati per la riparazione automatica del software. La ricerca esamina 319 bug reali in Python e Java provenienti da SWE-bench Verified e Multi-SWE-bench, con l'obiettivo di rivelare come gli LLM diano priorità ai dettagli nei report di bug. Si concentra su due domande chiave: (RQ1) l'allocazione dell'attenzione del modello attraverso varie sezioni dei report di bug, e (RQ2) le differenze nei pattern di attenzione tra riparazioni riuscite e non riuscite. I risultati offrono preziose intuizioni sul perché gli LLM possano produrre patch accurate per alcuni bug mentre faticano con altri simili, nonostante abbiano lo stesso contesto informativo. Questo studio è pionieristico nell'analisi dei meccanismi di attenzione nella riparazione del software guidata da LLM, migliorando la comprensione del comportamento del modello e delle potenziali strategie per aumentare i tassi di successo della riparazione.