Benchmarking del Campionamento Progressivo per la Profilazione della Qualità dei Dati
Un recente studio introduce un nuovo standard che valuta nove tecniche di campionamento innovative finalizzate alla profilazione della qualità dei dati all'interno di pipeline AI data-centriche. Valuta sia metodi ciechi—come il campionamento uniforme casuale, geometrico, Yamane e a cluster—sia tecniche guidate da proxy, tra cui Metropolis-Hastings, DAG, stratificato e a ponderazione per importanza. I dataset esaminati includono NYC 311, arresti NYPD, UCI Adult (fino a 500K righe), un flusso di sensori IoT (2,3 milioni di righe), Ultra-Marathon Running (fino a 7,4 milioni di righe) e dati sintetici (5x10^6 righe). Sorprendentemente, i risultati rivelano che i campionatori rappresentativi ciechi superano costantemente i metodi guidati da proxy, indipendentemente dalla dimensione del dataset.
Fatti principali
- La profilazione della qualità dei dati calcola tassi di valori mancanti, frazioni di duplicati, densità di outlier e violazioni di dipendenze funzionali.
- Le scansioni esaustive su milioni di righe sono troppo lente per il monitoraggio in tempo quasi reale.
- Il campionamento progressivo è l'alternativa standard per la profilazione della qualità dei dati.
- Sono state confrontate nove strategie di campionamento: cieche (uniforme casuale, geometrico, Yamane, a cluster) e guidate da proxy (Metropolis-Hastings, DAG, stratificato per tipo di colonna o punteggio di qualità, a ponderazione per importanza).
- I dataset reali includono NYC 311, arresti NYPD e UCI Adult (fino a 500K righe).
- Un dataset di flusso di sensori IoT contiene 2,3 milioni di righe.
- Il dataset Ultra-Marathon Running ha fino a 7,4 milioni di righe.
- I dati sintetici sono stati scalati a 5 milioni di righe.
- I campionatori rappresentativi ciechi dominano uniformemente rispetto ai metodi guidati da proxy.
Entità
—