FPEdit: Impronta Digitale Robusta per LLM tramite Modifica Localizzata dei Parametri
Un nuovo framework chiamato FPEdit è stato sviluppato dai ricercatori per improntare digitalmente i grandi modelli linguistici (LLM) al fine di proteggerli dalla distribuzione non autorizzata e dall'uso commerciale illecito. Le tecniche esistenti spesso comportano un compromesso: i metodi intrinseci richiedono l'accesso completo ai parametri, mentre le strategie backdoor utilizzano trigger statisticamente insoliti che possono essere facilmente identificati. FPEdit utilizza la modifica della conoscenza per incorporare impronte digitali in linguaggio naturale semanticamente coerenti attraverso aggiustamenti sparsi e mirati dei pesi del modello. Incorpora l'ottimizzazione del vettore di valore Promote-Suppress, che aumenta la probabilità dei token target riducendo al minimo la presenza di token concorrenti, garantendo così un'impronta digitale efficace senza compromettere le prestazioni del modello. L'articolo completo è disponibile su arXiv con l'identificatore 2508.02092.
Fatti principali
- FPEdit è un framework per improntare digitalmente gli LLM.
- Utilizza la modifica della conoscenza per iniettare impronte digitali in linguaggio naturale.
- Le impronte digitali vengono iniettate attraverso modifiche sparse e mirate dei pesi.
- L'ottimizzazione del vettore di valore Promote-Suppress potenzia i token target e sopprime i concorrenti.
- Gli attuali metodi di impronta digitale presentano un compromesso tra accesso ai parametri e rilevabilità del trigger.
- L'articolo è pubblicato su arXiv con ID 2508.02092.
- Gli LLM sono beni intellettuali preziosi vulnerabili alla ridistribuzione non autorizzata.
- FPEdit mira a proteggere dal furto tramite fine-tuning e distribuzione black-box.
Entità
Istituzioni
- arXiv