MMGuard: Protezione Proattiva contro il Fine-Tuning Non Autorizzato di LVLM

I ricercatori propongono MMGuard, un metodo per proteggere i dati multimodali dal fine-tuning non autorizzato di Large Vision-Language Models (LVLM). A differenza degli approcci post-hoc come il machine unlearning e le watermark, MMGuard genera proattivamente esempi non apprendibili iniettando perturbazioni impercettibili all'uomo che sfruttano le dinamiche di apprendimento dei LVLM. Queste perturbazioni minimizzano la perdita di training, creando una scorciatoia di ottimizzazione che induce i modelli a sovradattarsi al rumore, degradando le prestazioni quando le perturbazioni sono assenti durante l'inferenza. L'approccio affronta i rischi di copyright e privacy derivanti dallo scraping e dall'addestramento non autorizzati su dati web multimodali.