OpenAI descrive le minacce di ingegneria sociale per gli agenti AI e le contromisure difensive

Thomas Shadwell e Adrian Spânu, ricercatori di sicurezza presso OpenAI, hanno delineato l'evoluzione degli attacchi di prompt injection sugli agenti AI, che ora presentano somiglianze con le tattiche di ingegneria sociale. Questi attacchi sfruttano i sistemi di AI inserendo comandi fuorvianti in contenuti esterni, portando a comportamenti non autorizzati. Un caso notevole nel 2025, che coinvolgeva ChatGPT, ha rivelato un tasso di successo del 50% quando i ricercatori hanno istruito il sistema a esaminare email relative alle procedure dei dipendenti. L'approccio di OpenAI alla difesa combina misure di sicurezza convenzionali con la gestione del rischio di ingegneria sociale, trattando gli agenti AI in modo simile a rappresentanti umani. Le loro strategie includono Safe Url per rilevare la condivisione di informazioni sensibili. I ricercatori sottolineano che le difese efficaci devono essere progettate per minimizzare gli effetti della manipolazione, citando lo studio del 2023 di J. Rehberger sulle minacce di injection AI. OpenAI sta anche indagando le implicazioni dell'architettura di sicurezza per l'ingegneria sociale e l'addestramento dell'AI.