AuditRepairBench: Un Corpus per l'Instabilità di Classifica nel Canale di Valutazione nel Riparazione degli Agenti
Un nuovo studio ha introdotto AuditRepairBench, un dataset progettato per esplorare le incongruenze nella classifica delle classifiche di riparazione degli agenti causate da cambiamenti nei valutatori. Questo dataset è composto da 576.000 celle registrate, di cui 96.000 già eseguite, e affronta il problema dell'instabilità della classifica legata al blocco del canale di valutazione entro un intervallo di osservabilità definito. La ricerca evidenzia che gran parte del riordinamento deriva da metodi che si basano su segnali provenienti dai valutatori durante la selezione dei candidati per la riparazione. Per affrontare ciò, un framework di screening modulare impiega quattro metodi flessibili, tra cui un proxy di influenza appreso e un proxy di audit umano, creando un processo di screening completo che informa vari meccanismi di punteggio e classifica.
Fatti principali
- AuditRepairBench è un corpus di tracce di esecuzione accoppiate.
- Il corpus ha 576.000 celle registrate, 96.000 eseguite.
- Affronta l'instabilità della classifica nelle classifiche di riparazione degli agenti.
- L'instabilità deriva dalla riconfigurazione del valutatore.
- I metodi che consultano il segnale derivato dal valutatore causano riordinamento.
- Vengono utilizzate quattro implementazioni di screening: proxy di influenza appreso, rapporto di esposizione al canale basato su regole, proxy di sensibilità controfattuale, proxy di audit umano sparso.
- L'architettura produce un posteriore di screening, funzionale di flip a livello di cella, etichetta a valori di insieme, punteggio di sistema stratificato e classifica a valori di insieme.
- L'articolo è pubblicato su arXiv con ID 2605.04624.
Entità
Istituzioni
- arXiv