Gli LLM raggiungono l'89% di accuratezza nella validazione preliminare delle linee di prodotto

Uno studio recente pubblicato su arXiv indaga la capacità dei Large Language Models (LLM) di eseguire analisi di modelli di feature utilizzando progetti testuali semi-formali per la validazione preliminare nell'ambito dello scoping di linee di prodotto software. La ricerca ha valutato 12 LLM avanzati su 16 attività di analisi standard, confrontando i loro risultati con l'oracolo basato su solver FLAMA. I modelli ottimizzati per il ragionamento, come Grok 4 Fast Reasoning e Gemini 2.5 Pro, hanno raggiunto un'accuratezza media dell'88-89% su tutte le operazioni e i progetti, avvicinandosi alla correttezza dei solver. Lo studio ha rivelato errori sistematici nell'analisi strutturale e nel ragionamento sui vincoli, evidenziando i compromessi tra accuratezza e costo per guidare la selezione del modello. Sebbene gli LLM mostrino potenziale come strumenti leggeri per la validazione preliminare della variabilità, non sono ancora sostituti dei solver formali.