Regolazione della soglia e ricampionamento per la classificazione sbilanciata: uno studio su 45 compiti

Uno studio recente pubblicato su arXiv (2608.16147) mette in discussione il metodo prevalente di valutare le strategie per lo sbilanciamento delle classi utilizzando un solo dataset di riferimento. Gli autori rivelano che le intuizioni ottenute da valutazioni così limitate possono essere ingannevoli. Analizzando il dataset pubblico di frodi con carte di credito di Kaggle con un metodo di convalida incrociata nidificata senza perdite, hanno scoperto che un modello standard di Random Forest con soglia predefinita di 0,5 produce un punteggio F1 di 0,861 ± 0,021, con aggiustamenti della soglia che non offrono miglioramenti (delta-F1 = -0,002). Ciò indica che per gli ensemble ben calibrati, gestire lo sbilanciamento potrebbe non essere necessario. Tuttavia, applicando lo stesso metodo a 45 compiti binari con rapporti di sbilanciamento da 1:1,5 a 1:178 (per un totale di 2.025 adattamenti di modelli su quattro famiglie di modelli) si è giunti a una conclusione diversa. Random Forest ha mostrato il maggiore vantaggio dalla regolazione della soglia (delta-F1 = +0,101 ± 0,134), mentre le altre tre famiglie di modelli hanno mostrato risultati variabili. I risultati evidenziano i pericoli di dipendere da valutazioni su un singolo dataset e richiedono un benchmarking più ampio negli studi sulla classificazione sbilanciata.