Stemma: Un Metodo Black-Box per il Test di Provenienza degli LLM
Una recente pubblicazione su arXiv presenta Stemma, una nuova tecnica black-box per valutare la provenienza dei modelli linguistici di grandi dimensioni (LLM). Questo metodo supera le carenze delle tecniche attuali che dipendono da caratteristiche a livello di risposta, che possono cambiare durante l'adattamento o il deployment. Mappando output aperti in uno spazio decisionale finito, Stemma crea regioni decisionali indotte, minimizzando le variazioni di forma superficiale. Questo approccio ridefinisce il test di provenienza concentrandosi sull'ereditarietà delle regioni decisionali. I risultati empirici indicano che i modelli correlati mantengono le regioni indotte dalla fonte in modo più efficace rispetto a quelli non correlati. Stemma stabilisce inoltre stabilità, robustezza e specificità come principi complementari per la selezione delle sonde, garantendo un fingerprinting affidabile.
Fatti principali
- Articolo pubblicato su arXiv con ID 2607.25880.
- Il test di provenienza degli LLM determina se un LLM sospetto appartiene alla stessa discendenza di una fonte.
- I metodi black-box esistenti deducono la provenienza da caratteristiche a livello di risposta.
- Le caratteristiche a livello di risposta possono cambiare durante l'adattamento o il deployment.
- Stemma introduce regioni decisionali indotte mappando output aperti in uno spazio decisionale finito.
- Il test di provenienza viene ridefinito come misura dell'ereditarietà delle regioni decisionali.
- L'analisi empirica mostra che le regioni indotte dalla fonte sono preservate più fortemente nei modelli correlati.
- Stemma utilizza stabilità, robustezza e specificità come principi di selezione delle sonde.
Entità
Istituzioni
- arXiv