Specifica NFR ancorata a ISO nella generazione di codice LLM: uno studio comparativo

Uno studio recente da arXiv (2608.13742) indaga se ancorare i Requisiti Non Funzionali (NFR) al Modello di Qualità ISO/IEC 25010 migliori la generazione di codice da parte dei grandi modelli linguistici (LLM). La ricerca confronta tre stili di specifica: una baseline concisa di una riga (NL-simple), una prosa ricca in linguaggio naturale (NL-rich) e JSON strutturato (Structured). Utilizzando i benchmark HumanEval e HumanEval-ET, lo studio valuta quattro NFR—prestazioni, gestione degli errori, code smell e leggibilità—attraverso dieci variazioni di prompt per condizione sotto un'istantanea fissa del modello, con analisi non parametrica a coppie. Il risultato principale indica che l'arricchimento ancorato a ISO migliora i proxy di qualità statica, come la riduzione della densità di illeggibilità in tutti e quattro i NFR (ad esempio, l'illeggibilità delle prestazioni scende da 0.88 a 0.69 per NL-rich), e riduce la sensibilità alla formulazione del prompt. Tuttavia, non migliora in modo affidabile la correttezza funzionale; in particolare, per la gestione degli errori, il tasso di superamento dei test estesi diminuisce, suggerendo una tensione tra pattern di codifica difensiva e aspettative esatte dei test. Lo studio è stato annunciato come cross-type su arXiv, indicando la sua rilevanza sia per le comunità di IA che di ingegneria del software.