FairFund-Bench: Nuovo Benchmark per Valutare i Pregiudizi nell'Allocazione delle Risorse da parte dei LLM

Il nuovo benchmark, FairFund-Bench, mira a valutare sistematicamente i pregiudizi distributivi nei grandi modelli linguistici (LLM) riguardo all'allocazione di risorse limitate. Questo benchmark affronta le incongruenze riscontrate in precedenti audit dei LLM, che hanno mostrato un trattamento sia favorevole che sfavorevole di donne e minoranze etniche, anche all'interno degli stessi modelli. FairFund-Bench modifica aspetti essenziali dei progetti di audit, inclusi il compito di valutazione (valutazione, classificazione o allocazione), il contesto di confronto (stimolo singolo o multiplo) e il livello di trasparenza (trasparente o mascherato). Consiste in 600 richieste di assistenza finanziaria derivate da modelli scritti da esseri umani, allineate con 1,3 milioni di campagne GoFundMe reali, che coprono tre domini, quattro categorie razziali, due categorie di genere e cinque inquadramenti causali del bisogno. L'obiettivo è migliorare l'affidabilità delle valutazioni dei pregiudizi nella distribuzione delle risorse basata sui LLM, in particolare nei contesti di aiuto finanziario.