La sicurezza degli agenti deve essere un problema di sistema, non solo di robustezza del modello

Un nuovo articolo su arXiv sostiene che dovremmo considerare la sicurezza dell'IA come un problema di sistema più ampio. Gli autori, esperti di cybersecurity con background in sistemi operativi e machine learning avversario, sottolineano che gli attuali sforzi per rafforzare i modelli di IA non sono sufficienti. Propongono principi chiave derivanti dalla loro vasta ricerca per sviluppare sistemi di IA più sicuri. L'articolo esamina undici attacchi reali a agenti di IA, dimostrando che se fossero stati applicati questi principi di sistema, tali attacchi avrebbero potuto essere prevenuti. Vengono inoltre enfatizzate le sfide di ricerca ancora da affrontare.