Nuovo quadro di valutazione per LLM basato sulla Teoria della Risposta all'Item
Un team di ricercatori ha introdotto un quadro scalabile e interpretabile per valutare i modelli linguistici di grandi dimensioni (LLM) basato sulla Teoria della Risposta all'Item (IRT). Questo quadro ridefinisce la valutazione come una serie di sottoproblemi di fattorizzazione matriciale vincolata, consentendo una stima dei parametri stabile ed efficiente, supportata da garanzie teoriche di identificabilità e convergenza. I test su dati sintetici e reali, come MATH-500 e sei benchmark dell'Open LLM Leaderboard, dimostrano l'efficacia del metodo. Questo approccio supera le carenze dei benchmark convenzionali che dipendono dall'accuratezza media trascurando elementi stocastici e variabilità.
Fatti principali
- Propone un quadro interpretabile e scalabile per la valutazione degli LLM basato sull'IRT
- Riformula la valutazione come sottoproblemi di fattorizzazione matriciale vincolata
- Fornisce garanzie teoriche per identificabilità e convergenza
- Testato su dati sintetici e reali, tra cui MATH-500 e sei benchmark dell'Open LLM Leaderboard
- Affronta le limitazioni delle metriche di accuratezza media
Entità
Istituzioni
- arXiv
- Open LLM Leaderboard