SRPO: Ottimizzazione delle Politiche Relative Consapevole della Struttura per il Ranking
arXiv:2607.25268v1 introduce SRPO, un framework di Ottimizzazione delle Politiche Relative Consapevole della Struttura per il ranking listwise. I metodi di ranking basati sull'apprendimento per rinforzo esistenti trattano ogni permutazione campionata come un output atomico, valutato principalmente attraverso un reward scalare, trascurando le relazioni strutturali tra diverse liste di ranking. Ciò può portare a un'assegnazione imprecisa del credito e a aggiornamenti delle politiche eccessivamente aggressivi. SRPO affronta questo problema misurando la discrepanza tra permutazioni campionate utilizzando una distanza di Kendall pesata in alto, consentendo segnali di ottimizzazione più sfumati. Il framework mira a migliorare le prestazioni di ranking nei sistemi di accesso alle informazioni incorporando la consapevolezza strutturale nell'ottimizzazione delle politiche.
Fatti principali
- arXiv:2607.25268v1 introduce il framework SRPO
- SRPO sta per Structure-aware Relative Policy Optimization
- I metodi di ranking RL esistenti trattano le permutazioni come output atomici
- I metodi attuali usano reward scalari, ignorando le relazioni strutturali
- Ciò può causare un'assegnazione imprecisa del credito e aggiornamenti aggressivi delle politiche
- SRPO misura la discrepanza delle permutazioni tramite la distanza di Kendall pesata in alto
- Il framework è progettato per compiti di ranking listwise
- Mira a migliorare il ranking nei sistemi di accesso alle informazioni
Entità
Istituzioni
- arXiv