I Benchmark di Sicurezza degli LLM sono Sensibili alle Variazioni di Forma Superficiale

Un recente preprint disponibile su arXiv (2608.02665) mette in discussione l'efficacia dei benchmark di sicurezza per i modelli linguistici di grandi dimensioni (LLM), sostenendo che l'affidamento a un singolo prompt standard non riesce a catturare le variazioni nelle forme superficiali. Gli autori affermano che, sebbene i punteggi dei benchmark servano come strumenti di misurazione, la maggior parte degli elementi di test esiste in un unico formato standard. Esplorano la sicurezza in un contesto ad alto rischio privo di un gold standard definitivo, impiegando tecniche senza rifiuto come la retro-traduzione automatica. Le valutazioni ancorate all'umano, condotte da un giudice chiamato Claude, hanno prodotto un punteggio kappa di 0,86 riguardo alla conformità non sicura. Analizzando 370 seed, 5 forme superficiali e 5 modelli, la ricerca indica che nessuna singola forma superficiale predice in modo affidabile la sicurezza del modello, implicando che i metodi di valutazione attuali potrebbero valutare in modo impreciso la sicurezza degli LLM. L'articolo è classificato come cross-post.