Modelli LLM Locali Raggiungono il 43-45% di Accuratezza nel Rilevamento di Bug Python

È stata condotta un'indagine empirica per valutare l'efficacia dei modelli linguistici di grandi dimensioni (LLM) implementati localmente nel rilevamento di bug Python in applicazioni reali, utilizzando il benchmark BugsInPy. La ricerca si è concentrata su LLaMA 3.2 e Mistral, analizzando 349 bug provenienti da 17 progetti diversi attraverso un metodo di prompting zero-shot a livello di funzione, insieme a un framework di valutazione automatizzato basato su parole chiave. I risultati indicano che i modelli eseguiti localmente raggiungono un'accuratezza compresa tra il 43% e il 45%, fornendo spesso risposte parzialmente corrette che evidenziano aree problematiche del codice senza offrire soluzioni specifiche. Lo studio sottolinea significative variazioni di performance tra i progetti e affronta le limitazioni delle ricerche precedenti che dipendevano da modelli basati su cloud o hardware specializzato, limitandone l'uso in contesti sensibili alla privacy o con risorse limitate.