I riepiloghi di bug report generati da LLM contengono il 12,3% di contenuti inventati

Uno studio su 80 riepiloghi strutturati di bug report generati da modelli linguistici di grandi dimensioni ha rilevato che il 47,9% conteneva informazioni mancanti e il 12,3% includeva contenuti inventati. La ricerca, pubblicata su arXiv (2605.24137), analizza le allucinazioni da una prospettiva sensibile alla sezione, concentrandosi sulle sezioni Passi per Riprodurre, Comportamento Effettivo e Comportamento Atteso. I metodi di rilevamento esistenti valutano a livello di risposta completa e ignorano la struttura del documento tecnico. I risultati evidenziano la necessità di un'analisi sistematica delle allucinazioni nella sintesi automatizzata dei bug report per evitare di fuorviare gli sviluppatori.