Nuovo quadro di valutazione dei bias degli LLM in diversi casi d'uso

Un nuovo quadro decisionale è stato sviluppato dai ricercatori per aiutare nella selezione di metriche di bias ed equità per i modelli linguistici di grandi dimensioni (LLM), adattato a specifici contesti di implementazione. Questo quadro allinea le applicazioni degli LLM, caratterizzate dal modello e dalla demografia dei prompt, con metriche pertinenti che tengono conto del tipo di compito, delle menzioni di attributi protetti e delle priorità degli stakeholder. Affronta questioni come tossicità, stereotipizzazione, iniquità controfattuale e danni allocativi, introducendo metriche innovative che utilizzano classificatori di stereotipi e similarità testuale controfattuale. Inoltre, è stata lanciata una libreria Python open-source chiamata langfair per l'implementazione pratica. Esperimenti che coinvolgono cinque LLM e cinque popolazioni di prompt rivelano che le prestazioni di benchmark da sole non sono sufficienti per valutare accuratamente i rischi di equità.