TokenPrint: Nuovo Metodo per la Provenienza dei Modelli Linguistici
Uno studio recente presenta TokenPrint, un metodo di fingerprinting che non richiede addestramento, volto a determinare la provenienza dei modelli linguistici, inclusi i loro checkpoint fondamentali e le possibili sovrapposizioni nella distribuzione dell'addestramento. Questa tecnica impiega 250 sonde di conoscenza fisse per estrarre gli stati nascosti tardivi e valuta le proiezioni del vocabolario top-k tramite la sovrapposizione di Jaccard sulle stringhe di token decodificate. Testato su 32 modelli a pesi aperti provenienti da nove diverse famiglie (che vanno da 0.6B a 32B) con relazioni consolidate, i risultati illustrano una gerarchia di similarità legata alle connessioni tra i modelli. L'articolo, disponibile su arXiv con identificativo 2608.08139 e categorizzato come 'nuovo', offre una soluzione ai problemi di governance che i soli metadati non possono affrontare, potenzialmente aiutando nella verifica delle origini dei modelli e delle sovrapposizioni nei dati di addestramento.
Fatti principali
- TokenPrint è un metodo di fingerprinting senza addestramento per la provenienza dei modelli linguistici.
- Utilizza 250 sonde di conoscenza fisse e confronta le proiezioni del vocabolario top-k tramite la sovrapposizione di Jaccard.
- Valutato su 32 modelli a pesi aperti di nove famiglie (0.6B–32B).
- Modelli addestrati indipendentemente sugli stessi dati ottengono un punteggio grezzo di 0.48 (0.35 corretto per il vocabolario).
- I fine-tuning con base condivisa ottengono 0.39/0.33.
- I parenti dello stesso sviluppatore ottengono 0.38/0.28.
- I modelli senza relazioni documentate ottengono 0.22/0.17.
- Il segnale persiste attraverso tre organizzazioni, due famiglie di tokenizer e due classi di architettura.
- Il metodo emerge nei primi strati dei modelli.
- L'articolo è disponibile su arXiv con ID 2608.08139.
Entità
Istituzioni
- arXiv