Studio sui bias di LLM-as-a-Judge: il bias di stile domina, il debiasing aiuta

Uno studio recente indaga a fondo le strategie per mitigare i bias nei sistemi LLM-as-a-Judge. I ricercatori hanno valutato nove approcci di debiasing su cinque modelli giudice di Google, Anthropic, OpenAI e Meta, utilizzando tre benchmark (MT-Bench, LLMBar, personalizzato) ed esaminando quattro tipi di bias. I risultati rivelano che il bias di stile è il più diffuso (0,76-0,92 tra i modelli), superando il bias di posizione (≤0,04). Sebbene tutti i modelli mostrino una preferenza per la concisione nelle coppie di espansione, i controlli di troncamento dimostrano una precisa distinzione qualità-lunghezza (accuratezza 0,92-1,00). Sebbene il debiasing si riveli vantaggioso, la sua efficacia varia a seconda del modello; la strategia di budget combinato migliora notevolmente Claude Sonnet 4 del +11%. Lo studio sottolinea la mancanza di ricerca sul bias di stile, nonostante la sua predominanza.