Aggregazione di Pannelli LLM: Voti Decisivi Solo Dove la Verifica Aiuta

Uno studio recente pubblicato su arXiv (2608.06940) esamina l'efficacia dei pannelli di giudici LLM, concentrandosi sul problema degli errori correlati tra di loro. I risultati indicano che mentre un gruppo di nove giudici produce informazioni paragonabili a quelle di due giudici indipendenti, l'aggregazione riduce solo marginalmente il divario di errore. Un approccio alternativo—utilizzare un segnale da una diversa fonte di evidenza, come l'esecuzione di una suite di test—non ha mostrato alcun cambiamento significativo nel conteggio dei voti effettivi su larga scala (-0,04, IC 95% [-0,10, +0,02]). Gli autori sostengono che la dipendenza aggregata e l'utilità decisionale condizionata sono questioni separate. Evidenziano che solo le decisioni con un margine di un voto possono essere influenzate dalla sostituzione di una singola scheda, con tassi di errore del pannello che aumentano in questi punti critici, ottenendo miglioramenti di accuratezza da +10,4 a +23,3 punti percentuali in tre configurazioni principali, e nessun miglioramento altrove. L'articolo è stato pubblicato su arXiv con ID 2608.06940v1.