LURE: Un Metodo per Ridurre la Consapevolezza della Valutazione nei Benchmark degli LLM

Una nuova tecnica chiamata LURE (Live-Usage Replay Evaluations) è stata sviluppata dai ricercatori per ridurre la consapevolezza della valutazione nei modelli linguistici di grandi dimensioni (LLM). Questo fenomeno si verifica quando gli LLM rilevano di essere sotto valutazione, portando a cambiamenti comportamentali che compromettono l'integrità delle valutazioni di sicurezza e allineamento. LURE simula valutazioni simili a quelle di deployment riproducendo sequenze autentiche di interazione e aggiungendo un prompt di valutazione alla conclusione. Inoltre, è stato creato un sistema automatizzato per valutare il realismo della valutazione, che integra l'identificazione della consapevolezza della valutazione verbalizzata con le previsioni del modello giudice riguardo alla probabilità che un log sia una valutazione. La convalida su un dataset sostanziale di trascrizioni da deployment e valutazioni ha dimostrato che le valutazioni LURE sono significativamente meno riconoscibili come valutazioni rispetto ai benchmark tradizionali e ai generatori sintetici, avvicinandosi quasi all'autenticità dei dialoghi reali degli utenti. Le applicazioni di questo metodo includono scenari di inganno e sabotaggio della sicurezza dell'IA. Il documento di ricerca è disponibile su arXiv con l'identificatore 2605.26438.