La Teoria della Risposta all'Item Migliora l'Efficienza del Benchmarking di Sicurezza degli LLM

Uno studio recente pubblicato su arXiv (2606.20626) suggerisce che la Teoria della Risposta all'Item (IRT) potrebbe migliorare l'efficienza del benchmarking di sicurezza per i modelli linguistici. Attualmente, le tecniche esistenti considerano tutti gli item del test ugualmente validi, richiedendo fino a 100.000 risposte per ogni benchmark, molte delle quali forniscono un contributo minimo alla classificazione. I ricercatori hanno esaminato i benchmark di sicurezza più diffusi e scoperto che l'IRT rivela una struttura chiara, consentendo stime di abilità che distinguono tra modelli raggruppati al vertice delle metriche di sicurezza grezze. Utilizzando una selezione adattiva degli item—dove gli item informativi vengono scelti in base alle risposte del modello—questo approccio può avvicinarsi molto alle classifiche complete del benchmark, riducendo significativamente i costi di valutazione. Questa ricerca affronta il problema degli item di sicurezza avversari ed eterogenei.