Valutazione della Qualità delle Spiegazioni tramite Premi di Ranking

I ricercatori hanno ridefinito la valutazione della qualità delle spiegazioni come una sfida di ranking, concentrandosi sull'addestramento di modelli di ricompensa per valutare varie spiegazioni candidate invece di produrre una singola spiegazione ottimale in modo sequenziale. Creano insiemi di candidati per ogni istanza, categorizzati per livelli di qualità, e impiegano modelli di ranking listwise e pairwise (ListNet, LambdaRank, RankNet) per mantenere la struttura ordinale e prevenire la compressione dei punteggi spesso osservata nella regressione pointwise o nei compiti di preferenza binaria. I risultati indicano che le perdite di ranking superano costantemente la regressione in termini di differenziazione dei punteggi in tutti i domini testati. La scelta della migliore perdita di ranking è influenzata dalle caratteristiche dei dati: gli obiettivi listwise funzionano bene con livelli di qualità distinti, mentre gli approcci pairwise sono più resilienti alle annotazioni naturali rumorose. Questa ricerca utilizza dati meticolosamente curati e strutturati.