Studiati i bias linguistici nelle raccomandazioni dei LLM
Uno studio di ricerca esamina i bias linguistici presenti nelle raccomandazioni generate dai LLM per l'inglese americano meridionale, l'inglese indiano e il dialetto code-switched hindi-inglese. Utilizzando il dataset aperto Yelp (Yelp Inc., 2023) insieme alle recensioni di prodotti Walmart (PromptCloud, 2020), i ricercatori hanno incorporato elenchi bilanciati di nomi di ristoranti e prodotti nei loro prompt. Hanno impiegato il prompting zero-shot in uno scenario cold-start per identificare le prime 20 raccomandazioni per ciascun dialetto. I conteggi aggregati delle risposte per tipo di cucina e categoria di prodotto sono stati analizzati utilizzando modelli di regressione a effetti misti su 20 seed.
Fatti principali
- Lo studio indaga i bias linguistici nelle raccomandazioni basate su LLM.
- Dialetti testati: inglese americano meridionale, inglese indiano, code-switched hindi-inglese.
- Dataset utilizzati: dataset aperto Yelp (Yelp Inc., 2023) e recensioni di prodotti Walmart (PromptCloud, 2020).
- I LLM sono stati sollecitati con zero-shot per selezionare le prime 20 raccomandazioni da elenchi bilanciati.
- Modelli di regressione a effetti misti utilizzati per l'analisi su 20 seed.
Entità
Istituzioni
- Yelp Inc.
- PromptCloud