LivingArena: Un Framework di Valutazione Peer-Probing per LLM
Un nuovo framework di valutazione automatizzato chiamato LivingArena utilizza il peer-probing per valutare i LLM all'avanguardia, affrontando i problemi di contaminazione e saturazione nei benchmark statici. In questo framework, i modelli si alternano nel proporre domande per sfruttare i confini di conoscenza degli avversari, con un panel di giudici che convalida le risposte oggettive. L'approccio produce valutazioni resistenti alla contaminazione di dieci LLM all'avanguardia.
Fatti principali
- LivingArena è un framework di valutazione automatizzato e resistente alla contaminazione per LLM.
- I modelli propongono domande agli avversari, mirando a identificare lacune conoscitive.
- Un panel di giudici composto da modelli forti convalida l'oggettività delle domande.
- I proponenti vengono premiati quando gli avversari falliscono; gli intervistati vengono premiati altrimenti.
- Il framework valuta dieci LLM all'avanguardia.
- I benchmark statici soffrono di contaminazione e saturazione.
- La preferenza umana è soggettiva per la valutazione.
- L'articolo è disponibile su arXiv con ID 2607.24780.
Entità
Istituzioni
- arXiv