La distillazione di programmi sostituisce LLM-as-a-Judge per una valutazione scalabile

Una nuova tecnica nota come distillazione di programmi offre un'opzione più economica, rapida e chiara rispetto all'uso di LLM-as-a-judge per valutazioni automatizzate. Invece di utilizzare un grande modello linguistico per ogni query, questo metodo estrae il suo processo decisionale in un gruppo di programmi che valutano direttamente i candidati. I creatori hanno introdotto PAJAMA, un sistema che genera questi giudici programmatici, consolida le loro valutazioni e incorpora un sistema di fallback per inviare i casi a bassa confidenza a un LLM. Le valutazioni condotte su cinque dataset e quattro famiglie di modelli indicano che questi giudici programmatici funzionano al pari di un giudice LLM di dimensione 13B. I risultati sono disponibili su arXiv (2607.22561).