La valutazione dell'equità degli LLM dovrebbe essere comportamentale, non basata su test

Una recente pubblicazione su arXiv (2605.12530) sostiene che l'uso di benchmark basati su domande e risposte di test standardizzati per valutare l'equità nei grandi modelli linguistici (LLM) è fondamentalmente errato. I ricercatori rivelano che le scelte nella costruzione dei prompt, non correlate all'equità, influenzano in gran parte la variabilità dei punteggi, alterando le valutazioni di equità sia in direzione che in intensità, e portando a significative discrepanze nelle classifiche dei modelli. Introducono MAC-Fairness, un framework conversazionale che coinvolge più agenti e incorpora variazioni controllate nei dialoghi per l'analisi del comportamento in tempo reale. Questo metodo trasforma le domande dei test standardizzati in spunti di conversazione anziché strumenti di valutazione, misurando la coerenza sia dal punto di vista proprio che altrui insieme a vari indicatori comportamentali. I risultati richiedono una rivalutazione dei metodi esistenti di valutazione dell'equità dell'IA, sostenendo un passaggio verso la valutazione comportamentale in ambienti naturali multi-agente.