Benchmark MoralityGym Testa l'Allineamento Morale negli Agenti AI
Un team di ricercatori ha presentato MoralityGym, un insieme di 98 scenari di dilemma etico modellati sul problema del carrello, finalizzato a valutare l'allineamento morale degli agenti nel processo decisionale sequenziale. Questo benchmark utilizza un quadro innovativo noto come Catene Morali, che articola i principi morali come una sequenza di vincoli deontici. Separando il processo di completamento del compito dal giudizio morale, MoralityGym integra risultati sia dalla psicologia che dalla filosofia per migliorare il ragionamento sensibile alle norme. I risultati iniziali utilizzando tecniche di Safe RL indicano carenze significative, sottolineando la necessità di metodi più basati su principi nel processo decisionale etico. In definitiva, questo lavoro mira a creare sistemi AI che operino con maggiore affidabilità, trasparenza e standard etici in situazioni complesse del mondo reale.
Fatti principali
- MoralityGym è un benchmark di 98 problemi di dilemma etico.
- I problemi sono presentati come ambienti Gymnasium in stile dilemma del carrello.
- Le Catene Morali sono un formalismo innovativo per rappresentare le norme morali come vincoli deontici ordinati.
- Il benchmark separa la risoluzione del compito dalla valutazione morale.
- Viene introdotta una nuova Metrica Morale.
- I risultati di base con metodi Safe RL mostrano limitazioni chiave.
- Il lavoro si trova all'intersezione tra sicurezza dell'AI, filosofia morale e scienze cognitive.
- L'obiettivo è sviluppare sistemi AI che si comportino in modo più affidabile, trasparente ed etico.
Entità
Istituzioni
- arXiv