Il Model Bending Interattivo Trasforma i Modelli di Diffusione in Materiali Creativi

Un recente studio pubblicato su arXiv suggerisce che l'attenzione dell'XAI (Explainable AI) nelle attività artistiche dovrebbe concentrarsi sul permettere agli artisti di esaminare, alterare e risolvere i problemi dei modelli, piuttosto che enfatizzare spiegazioni tecniche. I ricercatori sostengono che i grandi sistemi di diffusione testo-immagine spesso operano come strumenti opachi end-to-end, ma possono fungere da risorse creative quando i loro meccanismi interni sono resi accessibili e regolabili. Questa metodologia è esemplificata attraverso un'interfaccia di model bending e ispezione interattiva integrata nel sistema a nodi di ComfyUI, con controlli per la selezione e l'intervento interattivo sui layer. L'analisi degli interventi di bending in Stable Diffusion 1.5 rivela che la regolazione di elementi specifici del pipeline di diffusione produce variazioni di output abbastanza consistenti.