Difetto fondamentale rende impossibile proteggere completamente i LLM, avvertono i ricercatori

Un team di ricercatori, tra cui Charles Ye e Jasmine Cui, ha presentato un articolo alla Conferenza Internazionale sull'Apprendimento Automatico sostenendo che i grandi modelli linguistici (LLM) hanno una vulnerabilità fondamentale che non può essere risolta tramite addestramento o red-teaming. Il difetto risiede nel modo in cui gli LLM identificano i ruoli: deducono chi fornisce le istruzioni in base allo stile del testo piuttosto che a tag strutturali. Imitando lo stile della catena di pensiero del modello, gli aggressori possono falsificare i ruoli e aggirare le barriere di sicurezza. I ricercatori hanno dimostrato attacchi a modelli di OpenAI, Anthropic, Alibaba e DeepSeek, estraendo istruzioni per sintetizzare cocaina e sabotare i sistemi di navigazione degli aerei. L'attacco, chiamato chain-of-thought forgery, ha vinto l'hackathon di red-teaming di OpenAI nell'agosto 2025. I ricercatori consigliano di presumere che gli LLM non possano essere considerati affidabili e di trattare tutte le azioni degli agenti AI come potenzialmente pericolose. Florian Tramèr del Politecnico di Zurigo ha elogiato l'articolo ma ha notato che le attuali difese funzionano bene per casi meno sensibili. Cui e Ye avvertono che gli incentivi economici spingeranno a più attacchi e che non esiste una soluzione fondamentale.