LLM come revisore migliora la qualità del codice nei progetti studenteschi
Uno studio sull'integrazione di un revisore di codice basato su LLM nelle pull request di GitHub per progetti di ingegneria del software ha riscontrato un miglioramento della qualità del codice e dell'apprendimento autoregolato. Su due coorti (2023–2024, oltre 100 studenti), lo strumento è stato utilizzato dal 93% dei team nel 2024 (rispetto al 50% nel 2023), con un'attività iterativa quasi raddoppiata (1.176 PR contro 581). I fallimenti tecnici sono scesi da 227 a zero dopo i perfezionamenti. La reattività—commit successivi alle revisioni AI—è rimasta stabile intorno al 32%. L'analisi a metodi misti ha utilizzato dati GitHub, report riflessivi e sondaggi.
Fatti principali
- LLM come revisore integrato nelle pull request di GitHub
- Due coorti: 2023 e 2024, oltre 100 studenti
- La coorte 2024 ha prodotto 1.176 PR contro 581 nel 2023
- I tentativi AI falliti sono scesi da 227 a zero
- Adozione: 93% dei team nel 2024 contro il 50% nel 2023
- Reattività: 32% (2023) e 33% (2024)
- Progettazione a metodi misti: dati GitHub, report riflessivi, sondaggio
- Approccio human-in-the-loop utilizzato
Entità
Istituzioni
- arXiv