Il Benchmark FairGap Espone Lacune di Equità Nascoste nei Sistemi di Raccomandazione Basati su LLM

FairGap è un nuovo benchmark che sfida l'idea che raccomandazioni coerenti da sistemi basati su LLM significhino che i loro processi interni siano stabili. Sviluppato da ricercatori e dettagliato in arXiv:2608.08284, valuta l'equità delle raccomandazioni su due fronti: spostamenti osservabili nell'output (OBS) e spostamenti nascosti nelle rappresentazioni (IBS). Utilizzando sonde di identità controfattuali controllate che considerano genere, età e razza, introduce un concetto chiamato Allineamento Rappresentazione-Output (ROA) per analizzare questi spostamenti. Applicato a sei famiglie di LLM a pesi aperti in tre diverse aree, FairGap rivela significative discrepanze nascoste-output, con ROA che raramente supera 0,22. È interessante notare che molti utenti vedono output stabili mentre si verificano cambiamenti interni, un problema trascurato negli audit basati solo sull'output. Lo studio suggerisce anche che lo steering dell'attivazione potrebbe ridurre l'IBS fino a 8 volte. La ricerca completa è disponibile su arXiv con ID 2608.08284.