I benchmark di IA ignorano modalità, ricerca e citazioni: implicazioni per le valutazioni di sicurezza

Un recente preprint su arXiv (2608.06202) esamina le assunzioni fondamentali delle valutazioni benchmark per i modelli linguistici di grandi dimensioni (LLM), spesso utilizzate per validare le affermazioni riguardanti la sicurezza, l'affidabilità e la prontezza per la distribuzione dei modelli. I ricercatori hanno analizzato due metodi di accesso—l'interfaccia chat di ChatGPT e l'API di OpenAI—con e senza funzionalità di ricerca web, utilizzando un campione stratificato di 401 prompt dai benchmark ampiamente utilizzati, BBQ e SafetyBench. Hanno raccolto un totale di 4.812 risposte su tre iterazioni per ogni prompt. Lo studio valuta non solo le metriche di performance convenzionali ma anche la coerenza delle risposte, la somiglianza del testo delle risposte, la fondatezza delle citazioni e il comportamento di astensione. I risultati indicano che i benchmark esistenti, che tipicamente utilizzano un singolo metodo di accesso e eseguono una sola prova per prompt enfatizzando l'accuratezza, trascurano fattori come la ricerca web che potrebbero influenzare le prestazioni del modello in applicazioni reali. Questa ricerca sottolinea la necessità di quadri di valutazione più approfonditi che incorporino questi elementi per migliorare le valutazioni di sicurezza e affidabilità dei modelli.