Nuovo framework verifica la provenienza dei dati nel fine-tuning degli LLM

È stato proposto un nuovo framework chiamato Distribution Provenance Audit (DPA) per verificare la violazione della proprietà intellettuale (IP) dei dati nel fine-tuning dei modelli linguistici di grandi dimensioni (LLM). La proliferazione di LLM personalizzati comporta rischi di fine-tuning non autorizzato su dati proprietari. Le tecniche di audit esistenti richiedono un intervento durante la preparazione dei dati o l'addestramento e sono fragili di fronte a offuscamenti dannosi come la parafrasi dei dati e la distillazione della conoscenza. DPA è un framework post-hoc che funziona in contesti black-box e dannosi. Si basa sull'intuizione che, indipendentemente dalle tattiche di fine-tuning, mantenere l'utilità costringe il modello a preservare l'intersezione tra sostanza semantica e forma lessicale. DPA cattura questo come impronte digitali distributive intrinseche. Il framework formula l'audit come un problema di test statistico, sfruttando le impronte digitali distributive intrinseche per rilevare l'uso non autorizzato. L'articolo è disponibile su arXiv con identificatore 2608.02154.