OpenEstimate: un benchmark per testare gli LLM sull'incertezza del mondo reale
I ricercatori hanno introdotto OpenEstimate, un nuovo benchmark progettato per valutare i modelli linguistici di grandi dimensioni (LLM) nel ragionamento in condizioni di incertezza, utilizzando compiti di stima numerica basati su dati reali. Il benchmark colma una lacuna critica nelle valutazioni attuali, che si concentrano tipicamente su problemi con risposte ben definite. OpenEstimate richiede ai modelli di sintetizzare informazioni di base ed esprimere previsioni come distribuzioni di probabilità, simulando scenari reali in ambito sanitario, finanziario e nel lavoro basato sulla conoscenza, dove le informazioni incomplete sono comuni. Il benchmark è estensibile e multi-dominio, con l'obiettivo di caratterizzare meglio le prestazioni degli LLM in contesti incerti. Il lavoro è descritto in un articolo su arXiv (2510.15096).
Fatti principali
- OpenEstimate è un benchmark per valutare gli LLM nel ragionamento in condizioni di incertezza.
- Utilizza compiti di stima numerica basati su dati reali.
- I modelli devono sintetizzare informazioni di base ed esprimere previsioni come distribuzioni di probabilità.
- Le attuali valutazioni degli LLM si concentrano su risposte ben definite, creando una lacuna.
- Il benchmark copre ambiti come sanità, finanza e lavoro basato sulla conoscenza.
- OpenEstimate è estensibile e multi-dominio.
- L'articolo è disponibile su arXiv con ID 2510.15096.
- Il lavoro mira a caratterizzare meglio le prestazioni degli LLM in contesti incerti.
Entità
Istituzioni
- arXiv