Giudici LLM come potenziamento della valutazione umana: un approccio di campionamento a due stadi

Un nuovo articolo su arXiv propone l'uso di grandi modelli linguistici (LLM) come valutatori ausiliari, piuttosto che sostituti dei valutatori umani, nella valutazione dei sistemi di IA. Gli autori introducono un disegno di campionamento a due stadi in cui le valutazioni LLM vengono raccolte per tutte le osservazioni in primo luogo, e poi i giudizi umani vengono selezionati in modo mirato per integrare i dati LLM. Questo approccio affronta l'alto costo e i problemi di scalabilità della valutazione umana esperta, fornendo al contempo un quadro statistico formale, superando le metriche di concordanza ad hoc comunemente utilizzate per giustificare la sostituzione dei giudici umani. L'articolo sposta il ruolo del LLM da sostitutivo a complementare, con l'obiettivo di migliorare l'efficienza e l'affidabilità in applicazioni ad alto rischio come la valutazione della sicurezza e della qualità.