TRACER: Framework Semantico per il Rilevamento di Contaminazione nei Codici LLM

Un team di ricercatori ha creato TRACER, un framework progettato per rilevare la contaminazione dei dati nei modelli linguistici di grandi dimensioni (LLM) con un focus sulla semantica. A differenza degli approcci convenzionali che privilegiano le corrispondenze esatte, TRACER valuta la contaminazione attraverso tre dimensioni semantiche: Funzionalmente Identico, Quasi Identico e Logica Condivisa. Utilizza una pipeline di rilevamento dal generale al dettaglio. Inoltre, i ricercatori hanno stabilito il primo benchmark per il rilevamento granulare della contaminazione del codice, comprendente tre benchmark popolari e tre dataset rappresentativi post-addestramento. TRACER ha mostrato risultati impressionanti su varie architetture LLM, con GPT-5 che ha raggiunto un punteggio F1 di 0,91 per il rilevamento granulare e 0,92 per il rilevamento binario, superando le tecniche esistenti del 42%-217%. La sua efficacia è stata ulteriormente confermata attraverso studi di ablazione e analisi degli errori.