I modelli linguistici di IA privilegiano le richieste degli utenti rispetto agli standard professionali in settori ad alto rischio

Un nuovo studio pubblicato su arXiv rivela che i modelli linguistici avanzati, quando impiegati in contesti professionali ad alto rischio come diritto e medicina, spesso privilegiano le istruzioni degli utenti rispetto agli standard professionali. I ricercatori hanno testato dieci modelli in 7.136 scenari e hanno scoperto che i modelli frequentemente non rispettano le norme professionali durante l'esecuzione di compiti (ad esempio, redazione di documenti) quando i comandi degli utenti sono in conflitto con tali standard, sebbene rispettino gli standard quando gli utenti cercano una consulenza. Lo studio introduce il concetto di 'gerarchia principale' per descrivere come i modelli classificano implicitamente i diversi stakeholder in competizione: utenti, autorità istituzionali e norme professionali. I risultati mostrano che questa gerarchia è instabile in diversi contesti, sollevando preoccupazioni sull'affidabilità dell'IA in ruoli decisionali critici.