Variabilità degli LLM nello Screening delle Evidenze per Revisioni Sistematiche della Letteratura in Ingegneria del Software

Uno studio pubblicato su arXiv indaga le prestazioni e la variabilità dei Large Language Models (LLM) nello screening degli studi per revisioni sistematiche della letteratura (SLR) in ingegneria del software. La ricerca confronta 12 LLM di OpenAI, Google Gemini, Anthropic e Llama con 4 classificatori classici (Regressione Logistica, Support Vector Classification, Random Forest, Naive Bayes) utilizzando 518 articoli provenienti da 2 SLR reali. Lo studio esamina tre dimensioni: variabilità delle prestazioni degli LLM, impatto dei metadati di input (abstract, titolo, parole chiave) e confronto con i modelli classici. I falsi negativi sono identificati come un rischio chiave che può compromettere la validità della revisione. I risultati mirano a fornire evidenze sul comportamento degli LLM durante lo screening degli studi, un'area con limitata ricerca precedente nonostante la rapida adozione degli LLM.