I Riassunti dei CV degli LLM Mostrano Pregiudizi Basati sul Nome nella Valutazione
Una recente indagine pubblicata su arXiv indica che i modelli linguistici di grandi dimensioni (LLM) mostrano un pregiudizio condizionato dal nome nella generazione di riassunti di curriculum per il reclutamento, nonostante le informazioni fattuali siano coerenti. Lo studio ha esaminato quasi un milione di riassunti generati da quattro modelli, applicando perturbazioni sistematiche dei nomi legati a razza e genere, utilizzando sia curriculum sintetici che annunci di lavoro reali. I ricercatori hanno scoperto che il linguaggio valutativo cambia sottilmente con nomi diversi, in particolare agli estremi della distribuzione, con i modelli open-source che mostrano variazioni significative. Questo pregiudizio può portare a un danno direzionale che si manifesta come instabilità simmetrica, che può eludere le valutazioni tradizionali di equità, sottolineando un potenziale di pregiudizio di automazione da LLM a LLM nel processo di assunzione.
Fatti principali
- Lo studio analizza quasi un milione di riassunti di curriculum da 4 LLM
- Utilizza perturbazioni sistematiche dei nomi legati a razza e genere
- Il contenuto fattuale rimane in gran parte stabile
- Il linguaggio valutativo mostra variazioni condizionate dal nome agli estremi della distribuzione
- I modelli open-source mostrano più pregiudizio
- La simulazione di assunzione dimostra instabilità simmetrica
- Il pregiudizio può eludere i controlli convenzionali di equità
- Evidenzia il potenziale di pregiudizio di automazione da LLM a LLM
Entità
Istituzioni
- arXiv