Il Metodo CSF Consente l'Attribuzione in Black-Box dei Modelli Text-to-Image Fine-Tuned
Quindi, c'è questo nuovo metodo chiamato Compositional Semantic Fingerprinting (CSF) che è il primo nel suo genere, progettato per collegare i modelli avanzati text-to-image alle loro fonti originali utilizzando solo query. Tratta questi modelli come creatori di significato e li testa con prompt che non sono comunemente utilizzati nel loro addestramento. Di solito, sarebbe necessario marcare questi modelli in anticipo o avere accesso interno, il che non è pratico per le API commerciali. Questi modelli text-to-image sono asset di valore con licenze rigorose che possono essere fatte rispettare solo se si riescono a individuare le violazioni. CSF offre ai titolari dei diritti un vantaggio intelligente, consentendo loro di creare nuovi prompt dopo il deployment, mentre coloro che cercano di aggirarlo affrontano una sfida molto più ardua. Questa ricerca ha esaminato sei famiglie di modelli, da FLUX a varie versioni di Stable Diffusion, e ha utilizzato un metodo bayesiano per il tracciamento. I risultati sono stati condivisi su arXiv con l'ID 2604.16363v1, ed è stato anche annunciato incrociato.
Fatti principali
- CSF è il primo metodo in black-box per attribuire i modelli text-to-image fine-tuned a linee protette utilizzando solo l'accesso tramite query
- I metodi esistenti richiedono watermarking pre-deployment o accesso interno al modello, non disponibili nelle implementazioni API commerciali
- CSF tratta i modelli come generatori di categorie semantiche e li analizza con prompt compositivi sottospecificati
- I prompt rimangono rari durante il fine-tuning
- I modelli text-to-image sono asset commercialmente preziosi spesso distribuiti con licenze restrittive
- Le licenze sono applicabili solo quando le violazioni possono essere rilevate
- CSF offre ai proprietari di IP un vantaggio asimmetrico: nuove composizioni di prompt possono essere generate dopo il deployment
- Gli attaccanti devono anticipare e sopprimere uno spazio molto più ampio di impronte digitali
- Metodo testato su 6 famiglie di modelli (FLUX, Kandinsky, SD1.5/2.1/3.0/XL) e 13 varianti fine-tuned
- Utilizza un framework di attribuzione bayesiana
- Ricerca annunciata su arXiv:2604.16363v1 con tipo di annuncio incrociato
Entità
Istituzioni
- arXiv