Attaccante adattivo supera la maggior parte delle difese contro il prompt injection nei LLM

Un recente studio pubblicato su arXiv indica che la maggior parte delle strategie progettate per contrastare il prompt injection nei grandi modelli linguistici sono in gran parte inefficaci. I ricercatori hanno sviluppato un attaccante adattivo che ha progredito attraverso centinaia di round, valutando nove configurazioni difensive contro oltre 20.000 attacchi. Tutte le difese che dipendevano dall'autoprotezione del modello alla fine hanno fallito. L'unica strategia efficace è stata il filtraggio dell'output, che utilizza regole hardcoded in codice applicativo distinto per vagliare le risposte prima della consegna all'utente, senza alcuna fuga di dati in 15.000 attacchi. I risultati suggeriscono che le misure di sicurezza dovrebbero essere implementate nel codice applicativo piuttosto che fare affidamento sul modello. Fino a quando le difese non saranno validate da strumenti come Swept AI, i sistemi di IA che gestiscono compiti sensibili dovrebbero essere accessibili solo a personale interno fidato.