Allineamento debole-forte analizzato attraverso la lente bias-varianza

Uno studio recente disponibile su arXiv approfondisce la transizione dall'allineamento debole a quello forte nei sistemi di intelligenza artificiale. L'indagine evidenzia casi in cui modelli robusti mostrano sicurezza in decisioni errate che insegnanti meno capaci non riescono a riconoscere. I ricercatori propongono un nuovo quadro concettuale, incorporando i concetti di bias-varianza-covarianza per collegare la teoria del misfit con i risultati post-addestramento. Stabiliscono una soglia basata sul misfit per il rischio della popolazione durante il processo di miglioramento. Per valutare ciò, lo studio esamina misurazioni continue della confidenza e testa quattro metodologie: supervised fine-tuning, reinforcement learning from human feedback e reinforcement learning from AI feedback, utilizzando i dataset PKU-SafeRLHF e HH-RLHF.