SA-PPG: Nuova Metrica per la Mitigazione della Contaminazione nei Benchmark

Uno studio recente pubblicato su arXiv (2608.07341) introduce SA-PPG (Stratified Aggregate of Per-question Probability Gaps) come metrica raffinata per valutare la riduzione della contaminazione nei grandi modelli linguistici. I ricercatori sostengono che la metrica esistente, G-AP (Gap of Aggregate Performance), presenta notevoli carenze. Evidenziano che gli output binari corretti/errati non rappresentano adeguatamente le prestazioni su base per-domanda, e che la media prima della differenziazione può portare alla cancellazione sia della sovra-soppressione che della sotto-soppressione. Inoltre, notano che la ponderazione uniforme per domanda può portare a tattiche che distorcono le probabilità di risoluzione verso i valori ad alta frequenza del modello pulito. SA-PPG calcola la probabilità di risoluzione per ogni domanda tramite campionamento, la confronta con il modello pulito e aggrega i risultati all'interno dei gruppi. Questo articolo è classificato come annuncio di tipo incrociato ed è accessibile all'indirizzo https://arxiv.org/abs/2608.07341.