Esempi non apprendibili falliscono sotto il paradigma pre-addestramento-fine-tuning

Un nuovo studio da arXiv (2605.05224v1) indaga sistematicamente per la prima volta gli esempi non apprendibili (UE) attraverso diversi paradigmi di addestramento. Gli UE incorporano perturbazioni impercettibili in dati benigni per ostacolare l'apprendimento delle caratteristiche, affrontando le minacce alla privacy derivanti dall'uso non autorizzato di dati personali nell'addestramento dei modelli. La ricerca rivela che i metodi UE esistenti, principalmente valutati in condizioni di addestramento da zero, vengono significativamente indeboliti quando i pesi pre-addestrati vengono caricati e congelati sotto il paradigma pre-addestramento-fine-tuning (PF). Gli autori spiegano ciò attraverso il filtraggio semantico: gli UE inducono i modelli a sovradattarsi a rumore non semantico, riducendo le capacità di estrazione semantica, ma sotto PF, gli strati superficiali congelati preservano la semantica dei dati, filtrando efficacemente le perturbazioni. I risultati evidenziano una lacuna critica nelle attuali difese UE.