L'estrazione per infilling rivela una maggiore memorizzazione nei modelli linguistici diffusivi

Un nuovo studio ha introdotto una tecnica chiamata 'estrazione per infilling', che mira a valutare come i modelli linguistici diffusivi (DLM) conservano i dati di addestramento. I risultati mostrano che i DLM possono rivelare fino a tre volte più sequenze esatte di quanto si pensasse in precedenza. A differenza dei modelli autoregressivi, i DLM possono denoising dei token mascherati da qualsiasi posizione, rendendo inefficace il probing basato solo sul prefisso. Questo approccio utilizza una maschera binaria per creare un bias induttivo bidirezionale. Testato su LLaDA-8B e Dream-7B in cinque diverse modalità di estrazione, tre pipeline di addestramento e tre dataset, si è scoperto che le maschere condizionate ai bordi fornivano i migliori risultati di estrazione dei dati. Il documento completo è disponibile su arXiv.