RTLC: il prompting ispirato a Feynman migliora l'accuratezza di LLM-as-judge su JudgeBench

Un nuovo paradigma di prompting chiamato RTLC (Research, Teach-to-Learn, Critique) migliora significativamente l'accuratezza di LLM-as-judge sul benchmark JudgeBench senza necessità di fine-tuning, recupero o strumenti esterni. Ispirato alla Tecnica di Apprendimento di Feynman, RTLC trasforma un singolo LLM black-box in un giudice ensemble-of-thought attraverso tre fasi: un'impalcatura pedagogica, molteplici verdetti indipendenti (N=10 a temperatura 0.4) e una fase di autocritica (temperatura 0). Su JudgeBench-GPT, l'accuratezza pairwise di Claude 3.7 Sonnet è passata dal 64,6% (prompt vanilla a colpo singolo) a livelli superiori. Il metodo affronta la debolezza persistente dei giudici LLM sugli item pairwise di correttezza oggettiva, dove anche modelli forti addestrati con istruzioni superano di poco il caso casuale. L'articolo è pubblicato su arXiv (2605.13695).