Nuova ricerca: i jailbreak dipendenti dal riferimento sfruttano una debolezza dei LLM multimodali
I modelli linguistici multimodali di grandi dimensioni (MLLM) sono sempre più utilizzati su screenshot, documenti scansionati e diagrammi. Un nuovo preprint arXiv (2608.17234) espone una vulnerabilità di sicurezza dipendente dal riferimento: molti jailbreak sono innocui isolatamente, ma un comportamento non sicuro emerge quando il modello lega un'operazione benigna — come riassumere o tradurre — a un bersaglio visivo localizzato. Le difese attuali, che moderano la coppia prompt-immagine nel suo insieme, falliscono quando la semantica dannosa è localizzata e attivata dopo il grounding. La vera unità di sicurezza è la coppia operazione-bersaglio fondata. Lo studio analizza questa debolezza strutturale e propone una difesa, anche se l'abstract lascia i dettagli poco descritti.
Fatti principali
- I MLLM sono utilizzati per interagire con screenshot, documenti scansionati e diagrammi.
- Nei jailbreak multimodali, né il prompt né l'immagine sono dannosi isolatamente.
- Il comportamento non sicuro emerge quando il modello lega un'operazione benigna a un bersaglio visivo localizzato.
- Le difese attuali moderano la coppia prompt-immagine nel suo insieme.
- L'unità rilevante per la sicurezza è la coppia operazione-bersaglio fondata, prodotta durante la dereferenziazione.
- Le difese esistenti degradano quando la semantica dannosa è localizzata e attivata dopo il grounding.
- Il documento identifica e analizza questa modalità di fallimento dipendente dal riferimento.
- Il preprint è disponibile su arXiv:2608.17234.
Entità
—