GT-HarmBench: Benchmark di sicurezza AI basato sulla teoria dei giochi rivela un tasso di fallimento del 38% in scenari ad alto rischio

I ricercatori hanno introdotto GT-HarmBench, un benchmark di 1.535 scenari ad alto rischio basati su strutture di teoria dei giochi come il dilemma del prigioniero, la caccia al cervo e il gioco del pollo. Attingendo dal MIT AI Risk Repository, il benchmark testa i modelli AI all'avanguardia in ambienti multi-agente. Su 15 modelli, gli agenti non sono riusciti a scegliere azioni socialmente benefiche nel 38% dei casi riguardanti escalation militare, manipolazione elettorale e negligenza medica. Lo studio ha misurato la sensibilità all'inquadramento e all'ordine delle istruzioni, e ha scoperto che gli interventi basati sulla teoria dei giochi hanno migliorato i risultati fino al 18%. I risultati evidenziano problemi di affidabilità nella sicurezza AI multi-agente.