L'avvelenamento difensivo cancella la maggior parte delle backdoor negli agenti LLM

Uno studio recente pubblicato su arXiv (2608.11295) esamina come funziona la decontaminazione delle backdoor negli agenti LLM a pesi aperti. Questa ricerca evidenzia la suscettibilità di questi agenti alle backdoor introdotte durante il fine-tuning, che possono rimanere nascoste se le condizioni specifiche di attivazione non vengono attivate durante la valutazione. I difensori non sono in grado di eliminare direttamente il trigger a causa della loro mancanza di conoscenza al riguardo. Un approccio suggerito è l'avvelenamento difensivo, in cui una backdoor nota viene impiantata e poi disimparata, con la speranza che questo processo elimini involontariamente la backdoor sconosciuta. Tuttavia, i risultati possono variare; la backdoor originale può rimanere, essere rimossa o essere reindirizzata. Lo studio presenta un quadro per analizzare queste dinamiche negli agenti di chiamata di strumenti, separando il trigger, la risposta, l'insegnante e il metodo di fine-tuning attraverso esperimenti sistematici su AgentDyn. In 115 prove, il solo avvelenamento difensivo ha eliminato circa il 56% delle backdoor originali, e ulteriori sforzi di decontaminazione hanno portato alla rimozione di quasi tutte le istanze rimanenti. Questi risultati indicano che riconoscere i trigger e contrastare le azioni dannose può essere ottenuto efficacemente, con importanti implicazioni per la sicurezza dell'IA e l'uso responsabile dei modelli a pesi aperti.