PiCSAR: Selezione Probabilistica della Confidenza per il Ragionamento dei LLM

I ricercatori hanno svelato una tecnica innovativa chiamata PiCSAR, che sta per Probabilistic Confidence Selection And Ranking. Questo metodo innovativo, senza bisogno di addestramento, valuta gli output di grandi modelli linguistici e modelli di ragionamento analizzando la log-verosimiglianza combinata del processo di ragionamento insieme alla risposta finale. PiCSAR si compone di due parti principali: confidenza del ragionamento e confidenza della risposta. Ha mostrato miglioramenti notevoli, ottenendo un +10,18 su MATH500 e un +9,81 su AIME2025, superando i modelli tradizionali pur richiedendo almeno la metà dei campioni in 16 casi su 20. Inoltre, l'analisi rivela che le catene di ragionamento accurate presentano una log-verosimiglianza congiunta significativamente più alta.