Nuova metrica pBA corregge il bias di stima delle prestazioni nella classificazione sbilanciata
Un recente studio pubblicato su arXiv (2604.26024) presenta una nuova metrica chiamata predicted-weighted balanced accuracy (pBA), progettata per affrontare il bias di stima delle prestazioni nella classificazione sbilanciata che coinvolge sottoconcetti di minoranza. Le valutazioni tradizionali a livello di classe spesso trascurano le differenze tra i sottoconcetti, e le metriche standard tendono a favorire i sottoconcetti di minoranza più grandi. Sebbene la riponderazione basata sull'utilità possa ridurre il bias utilizzando le etichette reali dei sottoconcetti, queste etichette sono raramente accessibili durante il test. L'innovativa pBA sostituisce le etichette mancanti dei sottoconcetti con probabilità posteriori predette derivate da un modello multiclasse dei sottoconcetti, stabilendo pesi di valutazione basati sull'utilità attesa di questa probabilità a posteriori. I test condotti su benchmark tabulari, imaging medico e dataset di testo rivelano che i punteggi non ponderati possono essere ingannevoli in situazioni di squilibrio intra-classe.
Fatti principali
- arXiv:2604.26024v1
- Tipo di annuncio: cross
- La valutazione a livello di classe nasconde le disparità di prestazioni tra i sottoconcetti
- Le misure di valutazione comuni per la classificazione sbilanciata sono distorte verso i sottoconcetti di minoranza più grandi
- La riponderazione basata sull'utilità utilizzando le etichette reali dei sottoconcetti può mitigare il bias
- Le etichette reali dei sottoconcetti sono raramente disponibili al momento del test
- La predicted-weighted balanced accuracy (pBA) sostituisce le etichette dei sottoconcetti con probabilità posteriori predette
- Esperimenti su dataset tabulari, di imaging medico e di testo
Entità
Istituzioni
- arXiv