Nuova Ricerca Espone Vulnerabilità di Sicurezza nei Modelli Linguistici di IA Potenziati dal Web

Uno studio recente pubblicato su arXiv presenta CREST-Search, un innovativo framework di red-teaming mirato a scoprire vulnerabilità di sicurezza nei grandi modelli linguistici che utilizzano funzionalità di ricerca web. La ricerca evidenzia che mentre il potenziamento web consente ai LLM di accedere a informazioni aggiornate, introduce anche un panorama di minacce unico in cui contenuti dannosi o inaffidabili possono essere recuperati e citati. I metodi attuali di valutazione della sicurezza si concentrano principalmente sulla generazione di testo non sicuro in modelli isolati, senza affrontare i rischi associati al complesso processo di ricerca. CREST-Search incorpora tre nuove tecniche di attacco che producono query di ricerca apparentemente innocue, portando a citazioni non sicure, e impiega un meccanismo iterativo di raffinamento in-context per migliorare l'impatto avversario in scenari black-box. Questa ricerca colma una lacuna cruciale nei test di sicurezza dell'IA concentrandosi sugli aspetti di recupero e citazione dei modelli potenziati dal web. Il documento è citato come arXiv:2510.09689v3 con tipo replace-cross.