HRBench: Un Framework Unificato per la Valutazione del Cambiamento di Modalità di Ragionamento nei LLM Ibridi
HRBench è stato lanciato da ricercatori come un framework di valutazione completo volto a esaminare il cambiamento di modalità di ragionamento nei modelli linguistici di grandi dimensioni (LLM) a ragionamento ibrido. Questi modelli consentono agli utenti di gestire lo sforzo di ragionamento, bilanciando la qualità delle risposte con il costo dell'inferenza. HRBench categorizza lo spazio di progettazione in due dimensioni: tre famiglie di strategie di commutazione (selezione basata su prompt, routing esterno, esecuzione speculativa) e quattro approcci di addestramento (senza addestramento, SFT, RL offline, RL online), risultando in 12 scenari di valutazione distinti. Il framework valuta questi scenari su sei LLM, da Qwen3.5-2B a Kimi-K2.5-1.1T, insieme a cinque benchmark di ragionamento in matematica, scienze e coding, reimplementando anche oltre 12 metodi notevoli. Questa iniziativa mira a standardizzare i confronti per le strategie di selezione adattiva della modalità di ragionamento, che in passato hanno affrontato valutazioni inconsistenti.
Fatti principali
- HRBench è un framework di valutazione unificato per il cambiamento di modalità di ragionamento nei LLM ibridi.
- Il framework copre tre famiglie di strategie di commutazione: selezione basata su prompt, routing esterno ed esecuzione speculativa.
- Include quattro regimi di addestramento: senza addestramento, SFT, RL offline e RL online.
- Dalla combinazione di strategie e regimi derivano 12 impostazioni di valutazione controllate.
- Le valutazioni sono condotte su sei LLM, da Qwen3.5-2B a Kimi-K2.5-1.1T.
- Vengono utilizzati cinque benchmark di ragionamento, che coprono matematica, scienze e codice.
- Oltre 12 metodi rappresentativi sono reimplementati per il confronto.
- L'obiettivo è standardizzare il confronto delle strategie di selezione adattiva della modalità di ragionamento.
Entità
—