Il Metodo SeedPrints Propone l'Impronta Digitale Intrinseca per i Modelli Linguistici di Grande Scala tramite Inizializzazione Casuale
Un recente articolo di ricerca presenta SeedPrints, un approccio innovativo per l'impronta digitale dei Modelli Linguistici di Grande Scala sfruttando i bias derivanti dall'inizializzazione casuale come identificatori intrinseci e duraturi. Lo studio sostiene che gli attuali metodi di impronta digitale falliscono durante la fase di pre-addestramento, dove si sviluppa la maggior parte della capacità e della conoscenza del modello. Le tecniche tradizionali valutano principalmente i modelli dopo il fine-tuning, dipendendo da firme che emergono solo dopo un addestramento estensivo. Questa carenza mette in discussione il concetto classico galtoniano di impronta digitale come identità fondamentale e permanente. I risultati, delineati nella preprint arXiv 2509.26404v2, suggeriscono che il pre-addestramento su larga scala è una fase più critica per la verifica della discendenza rispetto al fine-tuning a valle. Il metodo SeedPrints mira a offrire un'identificazione intrinseca più robusta catturando le firme dalla fase iniziale del modello.
Fatti principali
- Il documento di ricerca è intitolato 'SeedPrints: Fingerprints Can Even Tell Which Seed Your Large Language Model Was Trained From'.
- Introduce SeedPrints, un nuovo metodo per l'impronta digitale dei Modelli Linguistici di Grande Scala.
- Il metodo sfrutta i bias di inizializzazione casuale come identificatori intrinseci e persistenti.
- Sostiene che i metodi di impronta digitale esistenti sono inaffidabili durante la fase di pre-addestramento.
- I metodi convenzionali sono principalmente valutati dopo il fine-tuning.
- Il pre-addestramento su larga scala è identificato come un regime più fondamentale per la verifica della discendenza.
- L'impronta digitale degli LLM è essenziale per la verifica della provenienza e l'attribuzione del modello.
- Il documento è disponibile come preprint arXiv 2509.26404v2, con un tipo di annuncio 'replace-cross'.
Entità
Istituzioni
- arXiv