Studio Mette in Discussione l'Affidabilità degli Attacchi di Inferenza di Appartenenza sui Modelli Linguistici di Grande Dimensione
Un nuovo studio pubblicato su arXiv (ID: 2604.19561v1) indaga l'efficacia degli Attacchi di Inferenza di Appartenenza (MIAs) nel rilevare se documenti specifici, inclusi potenziali materiali protetti da copyright, siano stati utilizzati per addestrare Modelli Linguistici di Grande Dimensione (LLMs). La ricerca si concentra sugli MIAs black-box, che operano senza accesso interno al modello, e confronta i metodi più avanzati utilizzando un framework di dataset unificato. I risultati dimostrano che le tecniche attuali non riescono a identificare in modo affidabile l'appartenenza dei dati, come evidenziato da un punteggio AUC-ROC prossimo allo zero. Lo studio introduce anche un nuovo approccio chiamato Familiarity Ranking, progettato per dare agli LLMs maggiore libertà espressiva per comprendere meglio i loro processi di ragionamento dietro il rilevamento dell'appartenenza. Questo lavoro evidenzia sfide significative nell'audit dei dati di addestramento degli LLMs per la conformità al copyright e la provenienza dei dati.
Fatti principali
- Lo studio è pubblicato su arXiv con ID 2604.19561v1.
- Analizza gli Attacchi di Inferenza di Appartenenza (MIAs) sui Modelli Linguistici di Grande Dimensione (LLMs).
- Gli MIAs mirano a rilevare se documenti specifici fossero presenti nei dati di addestramento di un LLM.
- I dati di addestramento possono includere fonti protette da copyright.
- La ricerca confronta gli MIAs black-box più avanzati.
- È stato utilizzato un dataset unificato per il confronto.
- I risultati mostrano che i metodi attuali non possono rilevare in modo affidabile l'appartenenza (AUC-ROC ~0).
- È stato introdotto un nuovo metodo chiamato Familiarity Ranking.
Entità
Istituzioni
- arXiv