SCRuB: Un framework per valutare il ragionamento degli LLM sui concetti sociali

Un nuovo framework chiamato SCRuB (Social Concept Reasoning under Rubric-Based Evaluation) è stato sviluppato da ricercatori per valutare come i Large Language Models (LLM) interpretano concetti sociali astratti, tra cui norme, cultura e istituzioni. Mentre gli studi esistenti sul ragionamento degli LLM si concentrano principalmente su sfide matematiche o tecniche, l'area del ragionamento sui concetti sociali non ha ricevuto sufficiente attenzione, nonostante la sua importanza per i modelli che fungono da agenti sociali. SCRuB impiega un pipeline a tre fasi per affrontare l'indeterminatezza del compito: inizia con la creazione di prompt da fonti affidabili, seguita dalla generazione di risposte sia da esperti umani che da modelli, e si conclude con una valutazione comparativa utilizzando una rubrica di pensiero critico a cinque dimensioni. Per facilitare la generalizzazione, il framework include un Panel of Disciplinary Perspectives ensemble, che è stato validato rispetto alle valutazioni degli esperti. Questa ricerca è disponibile come preprint arXiv 2605.06444.