Rilevabilità della Contaminazione nei Benchmark: Limiti Informativi e Audit Calibrati per Potenza
Uno studio recente intitolato 'Quando è Rilevabile la Contaminazione nei Benchmark? Limiti Informativi e Audit Calibrati per Potenza' esplora come identificare la contaminazione nei dataset di benchmark. Distingue tra benchmark puliti e audit a bassa potenza, trattando i benchmark come una combinazione sparsa di controlli puliti e precedentemente osservati. La capacità di rilevare la contaminazione è influenzata dalla frazione di contaminazione, dalla separabilità dei comportamenti e dalla dimensione del campione. La ricerca introduce il concetto di efficacia del rivelatore, derivato dai dati di controllo, insieme a un certificato di split del campione che stabilisce una soglia minima per la contaminazione. I risultati indicano che l'efficacia di calibrazione congelata predice accuratamente le curve di potenza con alti valori di R-quadro, sebbene i budget gaussiani tendano a essere mal calibrati con campioni più piccoli. Un pianificatore a due fasi corregge i budget in modo conservativo. La ricerca sottolinea l'importanza dell'interpretazione dell'audit oltre all'efficacia e alla validità, rendendola un contributo vitale per la comunità dell'IA.
Fatti principali
- L'articolo formalizza la distinzione tra un benchmark pulito e un audit con bassa potenza.
- La rilevabilità è governata da alpha * rho * sqrt(m), dove rho^2 = chi^2(P_1 || P_0).
- Qualsiasi rivelatore scalare si riduce alla sua efficacia, ef = |E_1 f - E_0 f| / sqrt(Var_0(f)) <= rho.
- L'efficacia può essere stimata dai controlli prima che l'audit venga eseguito.
- Un certificato di split del campione limita inferiormente alpha in modo indipendente dalla distribuzione.
- L'efficacia di calibrazione congelata predice le curve di potenza tenute da parte con R^2 = 0.83-0.98 su sei canali di permutazione esatta.
- Il budget gaussiano basato solo sull'efficacia fallisce in 9/9 canali che superano il gate.
- Un pianificatore a due fasi pre-dichiarato ripara i budget ed è uniformemente conservativo.
- Il certificato è valido ma vacuo alla scala dell'audit.
- Uno studio di iniezione accoppiata a cinque semi recupera l'ordinamento dei meccanismi: parafrasi > superficie.
Entità
Istituzioni
- arXiv