Lo ZCA Whitening Migliora la Misurazione del Bias WEAT nei Modelli Linguistici
Un nuovo articolo su arXiv (2608.06908) presenta una tecnica chiamata Zero-phase Component Analysis (ZCA) whitening, volta a migliorare il Word Embedding Association Test (WEAT). Questo test è ampiamente utilizzato per valutare il bias nell'IA e nelle scienze sociali, misurando le associazioni semantiche tramite similarità del coseno. Tuttavia, molti modelli linguistici non soddisfano l'assunzione di uno spazio di embedding isotropico, il che ha gettato dubbi sulle valutazioni del bias. Lo ZCA whitening aggiusta la covarianza per assomigliare a una matrice identità mantenendo in gran parte intatti i vettori originali, ripristinando così l'isotropia. Gli autori hanno testato questo metodo su dieci suite di test WEAT e sette modelli provenienti da tre diverse architetture, per un totale di 70 combinazioni, e hanno scoperto che lo ZCA whitening aumenta significativamente l'affidabilità dei punteggi WEAT. L'articolo accenna anche a una possibile pubblicazione precedente.
Fatti principali
- L'articolo arXiv:2608.06908 propone lo ZCA whitening come fase di pre-elaborazione per WEAT.
- WEAT è un metodo di misurazione del bias utilizzato nella scienza sociale computazionale e nella ricerca sull'equità dell'IA.
- WEAT si basa sulla similarità del coseno, assumendo l'isotropia dello spazio di embedding.
- Molti modelli linguistici non soddisfano l'assunzione di isotropia, influenzando l'affidabilità.
- Lo ZCA whitening trasforma la covarianza in una matrice identità minimizzando la perturbazione.
- La valutazione copre dieci suite di test WEAT e sette modelli provenienti da tre famiglie architetturali.
- Sono state testate in totale 70 combinazioni modello-compito.
- I risultati mostrano che lo ZCA whitening migliora l'affidabilità di WEAT.
Entità
Istituzioni
- arXiv