Sonda Metacognitiva Diagnostica la Calibrazione della Confidenza degli LLM su Cinque Dimensioni
Un nuovo strumento diagnostico chiamato Sonda Metacognitiva è stato sviluppato dai ricercatori per valutare il comportamento di confidenza dei modelli linguistici di grandi dimensioni in cinque aree chiave: calibrazione della confidenza, vigilanza epistemica, confine della conoscenza, intervallo di calibrazione e validazione della catena di ragionamento. Questa sonda a cinque compiti, che trae ispirazione da Flavell (1979) e Nelson e Narens (1990), è stata valutata su otto modelli avanzati e 69 soggetti umani, enfatizzando l'allineamento osservabile tra confidenza e correttezza. È importante notare che questo strumento non è una scala di metacognizione cross-specie validata, e un'ipotesi predefinita riguardante lo sviluppo umano è stata confutata. I benchmark esistenti come MMLU, BIG-Bench, HELM e GPQA misurano le risposte corrette ma non indicano se un modello riconosce le risposte errate, consentendo una potenziale eccessiva confidenza in aree specifiche nonostante un punteggio complessivo elevato.
Fatti principali
- 1. La Sonda Metacognitiva è una diagnostica a cinque compiti e 15 slot.
- 2. Decompone la confidenza degli LLM in cinque dimensioni: T1-CC, T2-EV, T3-KB, T4-CR, T5-RCV.
- 3. Valutata su N=8 modelli all'avanguardia e N=69 umani.
- 4. Motivata da Flavell (1979) e Nelson e Narens (1990).
- 5. Lo strumento non è una scala di metacognizione cross-specie validata.
- 6. Un'ipotesi pre-specificata sullo sviluppo umano è stata falsificata.
- 7. I benchmark compositi (MMLU, BIG-Bench, HELM, GPQA) non dicono nulla sulla consapevolezza del modello dei propri errori.
- 8. Un modello può ottenere 80 in un benchmark di calibrazione composito ma essere eccessivamente confidente in aree ristrette.
Entità
—