Nuova ricerca propone un framework gerarchico per rafforzare i modelli visione-linguaggio contro gli attacchi avversari

È stato sviluppato un nuovo framework per il fine-tuning avversario per migliorare la resilienza dei Modelli Visione-Linguaggio (VLM) contro minacce mirate. Questo metodo utilizza l'organizzazione gerarchica naturale degli spazi delle classi, affrontando una debolezza in cui i modelli vacillano quando gli attacchi avversari si concentrano sia sulle superclassi, come 'mammifero', sia sulle loro specifiche classi foglia come 'gatto'. Le attuali strategie di fine-tuning robusto spesso abbinano embedding testuali fissi con embedding di immagini, potenzialmente compromettendo le prestazioni complessive e la robustezza. Il framework innovativo introduce embedding gerarchici e stabilisce più livelli di allineamento robusto avversario tra le modalità testo e immagine. Incorpora inoltre meccanismi per posizionare gli embedding visivi a specifiche profondità all'interno della gerarchia. Viene stabilita una connessione teorica tra la profondità dell'embedding nella gerarchia e la dimensione massima del margine fattibile. Questa ricerca, presentata nel documento 'Hierarchically Robust Zero-shot Vision-language Models' (arXiv:2604.18867v1), rappresenta uno sforzo interdisciplinare volto a migliorare la classificazione zero-shot nei VLM, che rimangono vulnerabili agli attacchi avversari nonostante le loro sofisticate capacità.