Ottimizzazione delle Politiche di Attrito: Un Nuovo Quadro per l'Allineamento dei LLM

Un nuovo quadro chiamato Ottimizzazione delle Politiche di Attrito (FPO) è stato introdotto dai ricercatori per addestrare modelli linguistici a gestire rischi sia epistemici che normativi attraverso azioni di controllo specifiche come chiarimento, verifica, contestazione, reindirizzamento e rifiuto. A differenza delle tecniche di allineamento tradizionali che si concentrano sull'ottimizzazione di preferenze superficiali o utilità del compito, FPO affronta l'allineamento come una sfida di controllo epistemico sensibile al rischio, dando priorità agli interventi in base al loro impatto previsto sulla qualità epistemica a valle piuttosto che su ricompense immediate. Questo quadro presenta una classificazione degli interventi di attrito, un funzionale di attrito strutturato per affrontare le modalità di fallimento dell'allineamento e un insieme coeso di metodi FPO, tra cui il reward shaping e l'abbinamento delle preferenze. Lo studio è disponibile su arXiv con l'identificatore 2604.25136.