La ricerca esamina i pregiudizi cognitivi indotti dai prompt nell'IA per l'ingegneria del software

Uno studio pubblicato su arXiv indaga come sottili variazioni nella formulazione dei prompt possano introdurre pregiudizi cognitivi nei sistemi di IA generica utilizzati per le decisioni di ingegneria del software. La ricerca introduce PROBE-SWE, un benchmark dinamico progettato per testare otto pregiudizi specifici rilevanti per lo sviluppo software, tra cui ancoraggio, disponibilità e pregiudizio di conferma. Questo benchmark accoppia versioni pregiudizievoli e imparziali degli stessi dilemmi di ingegneria del software, controllando la logica e la difficoltà del compito. Il lavoro si concentra sul verificare se le tecniche pratiche di prompt engineering possano mitigare questa sensibilità ai pregiudizi in ambienti reali. I ricercatori hanno esaminato strategie comuni come il ragionamento a catena di pensieri e i metodi di auto-correzione dei pregiudizi. I risultati affrontano una questione critica nell'ingegneria del software assistita dall'IA, dove le dichiarazioni dei problemi e i requisiti in linguaggio naturale sono vulnerabili a cambiamenti di formulazione. Questi cambiamenti, come includere suggerimenti di popolarità o rivelare potenziali risultati, possono spingere i modelli di IA verso decisioni tecniche subottimali. Lo studio mira a fornire tecniche applicabili che i professionisti possano utilizzare direttamente senza infrastrutture specializzate.