I ricercatori sviluppano adattatori di introspezione per far riferire agli LLM i loro comportamenti appresi

Un nuovo articolo di ricerca introduce gli "adattatori di introspezione" (IAs) come metodo scalabile per far descrivere ai grandi modelli linguistici (LLM) i loro comportamenti appresi in linguaggio naturale. L'approccio affronta la sfida di rilevare comportamenti inaspettati, dannosi o difficili da identificare che possono emergere quando i modelli vengono perfezionati. I ricercatori creano dati di addestramento perfezionando modelli da un LLM base condiviso con comportamenti impiantati, quindi addestrano un singolo adattatore LoRA attraverso questi modelli perfezionati per consentire loro di verbalizzare tali comportamenti. Questa tecnica IA generalizza efficacemente, anche per modelli addestrati in modi molto diversi dal set di addestramento, e raggiunge prestazioni all'avanguardia su AuditBench per identificare comportamenti preoccupanti esplicitamente nascosti. Il metodo mira a semplificare i processi di audit per sviluppatori e utenti di modelli consentendo agli LLM di auto-segnalare i loro comportamenti interni. La ricerca è stata pubblicata su arXiv con l'identificatore arXiv:2604.16812v1.