RACER: Routing Adattivo per un LLM-as-a-Judge Efficiente in Termini di Costi

Un recente preprint su arXiv (2605.10805) presenta RACER, un framework progettato per il Robust Adaptive Cost-Efficient Routing nei sistemi LLM-as-a-Judge. Questa ricerca valuta le prestazioni dei modelli linguistici di grandi dimensioni (LLM) capaci di ragionamento rispetto a giudici non ragionanti in vari compiti. I risultati indicano che, mentre il ragionamento esplicito migliora l'accuratezza in compiti di verifica strutturati, come matematica e codifica, produce effetti minimi o negativi su valutazioni più semplici e comporta costi computazionali significativamente più elevati. RACER sceglie intelligentemente tra giudici ragionanti e non ragionanti entro un budget predeterminato, inquadrando la sfida del routing come un problema di ottimizzazione robusta distribuzionalmente vincolata che incorpora spostamenti di distribuzione attraverso insiemi di incertezza basati sulla divergenza KL. L'obiettivo è applicare il ragionamento in modo selettivo anziché universale.