Il Gap di Perplessità Rivela gli Obiettivi di Finetuning degli LLM

Un nuovo metodo utilizza la differenza di perplessità per identificare gli obiettivi di finetuning nei grandi modelli linguistici, inclusi comportamenti dannosi. I ricercatori hanno generato completamenti diversi da modelli finetunati utilizzando prefissi casuali, quindi li hanno classificati in base al gap di perplessità decrescente tra il modello di riferimento e quello finetunato. I completamenti in cima alla classifica spesso rivelano gli obiettivi di finetuning senza richiedere l'accesso agli interni del modello o assunzioni preliminari. L'approccio è stato valutato su 76 organismi modello con dimensioni da 0,5 a 70 miliardi di parametri.