GPASV: Valore di Shapley per Grafi di Priorità Ciclici nella Valutazione del ML
I ricercatori hanno introdotto una nuova idea nota come valore di Shapley generalizzato sensibile alle priorità (GPASV). Questo innovativo valore di ordine casuale può essere utilizzato con qualsiasi grafo di priorità pesato diretto, affrontando i limiti dei metodi esistenti che dipendono da priorità binarie e acicliche. Questi metodi attuali spesso non riescono a catturare situazioni reali, come preferenze umane combinate e valutazioni con criteri multipli. GPASV include modelli classici come casi specifici e si basa su un quadro assiomatico che presenta tecniche computazionali chiave e una diagnostica di sweep delle priorità. Il suo utilizzo nella valutazione di ensemble LLM sul grafo di preferenza ciclico Chatbot Arena mostra la necessità di un attento bilanciamento nella priorizzazione delle priorità di grafo a coppie. La ricerca è accessibile su arXiv con l'identificatore 2605.15018.
Fatti principali
- GPASV è un valore di ordine casuale definito su grafi di priorità pesati diretti arbitrari.
- Le estensioni esistenti del valore di Shapley sensibile alle priorità richiedono priorità binarie e acicliche.
- Esempi di dati reali come preferenze umane aggregate e confronti multi-criterio violano il vincolo di aciclicità.
- GPASV copre una gamma di modelli classici come casi limite.
- GPASV è stabilito attraverso una caratterizzazione assiomatica.
- Sono sviluppati metodi computazionali e una diagnostica di sweep delle priorità.
- GPASV è applicato alla valutazione di ensemble LLM sul grafo di preferenza ciclico Chatbot Arena.
- Il lavoro è pubblicato su arXiv con l'identificatore 2605.15018.
Entità
Istituzioni
- arXiv