S1-Bench: Valutare il Pensiero di Sistema 1 nei Grandi Modelli di Ragionamento

Un nuovo standard, noto come S1-Bench, è stato lanciato per valutare le capacità di pensiero di Sistema 1 dei Grandi Modelli di Ragionamento (LRM). Il pensiero di Sistema 1 è caratterizzato da risposte rapide e intuitive che richiedono pochi token, differendo dai processi di ragionamento estesi che gli LRM solitamente utilizzano. Questo benchmark copre più domini e lingue, presentando domande semplici di Sistema 1. Le valutazioni condotte su 28 LRM hanno indicato una mancanza di accuratezza ed efficienza nell'affrontare queste domande. Le attuali tecniche di ragionamento efficiente faticano ad adattarsi a domande semplici o compromettono le prestazioni per la velocità. Inoltre, i risultati hanno rivelato che gli LRM mostrano una consapevolezza precoce della difficoltà del problema con una ridotta confidenza, e tale difficoltà è rappresentata in modo sottile negli stati nascosti. Questa ricerca sottolinea l'importanza del pensiero di Sistema 1 nelle applicazioni pratiche, evidenziando la consapevolezza dei modelli delle sfide e l'efficienza del ragionamento.