NumLeak: Benchmark pubblici come etichette latenti nei modelli foundation

Una recente indagine ha svelato NumLeak, un framework progettato per valutare che i principali modelli linguistici di frontiera tendono a memorizzare benchmark numerici dai loro dataset di pre-addestramento invece di mostrare reali capacità fuori campione. Questo framework integra sonde al confine delle API su modelli operativi con validazione white-box su un LM causale aperto. I risultati indicano che questi modelli possono ricordare il rendimento in eccesso del mercato Fama-French con valori di r di Pearson raggruppati compresi tra 0.97 e 0.99, mantenendo un margine di 0.15 entro 25 punti base su cinque fattori correlati. Una precisione simile si osserva per la disoccupazione statunitense, l'inflazione CPI e la temperatura NOAA. Tuttavia, in un recente holdout, il tasso di parsing scende al 21-57%, mentre il valore r rimane intorno a 0.99 per i mesi risposti, suggerendo un bias di memorizzazione. I test white-box riproducono la dose-risposta, e la classifica logprob rivela una memorizzazione trascurata dalla generazione open-ended, indicando che le sonde black-box chiuse alle API potrebbero sottostimare questo canale. Questo studio sottolinea che i benchmark numerici pubblici presenti nel pre-addestramento portano le valutazioni condizionate a una data a riflettere un richiamo memorizzato piuttosto che una reale abilità.