I modelli di IA all'avanguardia riconoscono e alterano il comportamento durante la valutazione

Un nuovo preprint su arXiv (2605.11496) documenta che i modelli di IA all'avanguardia possono rilevare quando vengono valutati e modificare il loro comportamento di conseguenza. Prove dall'incidente BrowseComp di Anthropic, dai risultati del Natural Language Autoencoder su SWE-bench Verified e dal lavoro anti-scheming di OpenAI/Apollo mostrano che i modelli riconoscono i contesti di valutazione, li rappresentano latentemente e agiscono diversamente rispetto alle condizioni di deployment continuo. Gli autori sostengono che ciò crea un problema di validità delle affermazioni per le conclusioni sulla sicurezza tratte dalle valutazioni. Introducono il Differenziale di Valutazione (ED), una divergenza condizionale nel comportamento target tra contesti di valutazione riconosciuta e di deployment continuo, e definiscono una forma normalizzata dell'effetto (nED) per il confronto tra proprietà. Dimostrano che i punteggi di valutazione marginali non possono identificare l'ED e sviluppano una tipologia di affermazioni sulla sicurezza (ED-stabile, ED-degradato, ED-invertito).