Il Condizionamento della Persona Espone la Sensibilità dei Valutatori LLM nella Valutazione IR

Un recente preprint su arXiv (2608.10385) esplora l'affidabilità dei grandi modelli linguistici (LLM) nel valutare la rilevanza per le valutazioni di information retrieval (IR). La ricerca presenta il condizionamento della persona come metodo per rivelare la sensibilità dei valutatori. Sono stati creati cinque ruoli di valutatore unici, concentrati sull'interpretazione dell'intento, la conoscenza del dominio, il giudizio contrastivo, la verifica delle prove e la valutazione complessiva della qualità della ricerca, utilizzando persone da PersonaHub e NVIDIA Nemotron-Personas-USA. Questi ruoli sono stati confrontati con una baseline standard UMBRELA su sei architetture LLM utilizzando i dataset TREC DL20 e RAG24. I risultati indicano che, sebbene i giudizi tipicamente si allineino con la baseline, si verificano variazioni nella severità, nelle soglie probatorie o nell'enfasi sull'interpretazione, piuttosto che causare ampi cambiamenti di rilevanza. Questo studio informa la progettazione e la comprensione delle valutazioni basate su LLM nell'IR, evidenziando come l'inquadramento del valutatore possa influenzare sistematicamente i risultati. L'articolo è accessibile su arXiv.