PCFJudge riduce la sensibilità all'ordine nella valutazione della factualità degli LLM

Un nuovo metodo chiamato PCFJudge affronta la sensibilità all'ordine dei candidati nella valutazione della factualità lista per lista da parte dei grandi modelli linguistici (LLM). La tecnica riesegue lo stesso prompt di factualità su più ordinamenti di insiemi di candidati e aggrega punteggi, classifiche e segnali di incertezza in una decisione di consenso. Su RewardBench 2 Factuality, PCFJudge migliora l'accuratezza fino a 7 punti assoluti rispetto alla valutazione diretta. Le ablazioni di sviluppo rivelano che il consenso di permutazione stesso, piuttosto che strati di arbitraggio più pesanti, guida il miglioramento. La ricerca suggerisce che una parte significativa dell'errore di giudizio sulla factualità deriva dall'instabilità dell'ordine.