Strategie di Prompt per LLM nella Codifica Qualitativa in Ingegneria del Software

È stato condotto uno studio empirico per valutare tre grandi modelli linguistici—Claude Haiku, DeepSeek-Chat e Gemini 2.5 Flash—concentrandosi sulla loro capacità di codificare qualitativamente la sicurezza psicologica all'interno delle comunità di ingegneria del software. Questa ricerca confronta metodi di prompt engineering zero-shot e multi-shot, utilizzando il kappa di Cohen come metrica di concordanza su dieci configurazioni indipendenti. I risultati rivelano che il prompting multi-shot migliora notevolmente la concordanza per Claude Haiku (Delta kappa = +0,034). Lo studio sottolinea la capacità degli LLM di supportare l'analisi qualitativa, evidenziando al contempo l'importanza della sensibilità nella progettazione dei prompt e la necessità di riproducibilità nel ragionamento simile a quello umano.