Belief Engine: Dinamiche di Posizione Verificabili per LLM Multi-Agente
Il Belief Engine (BE) è stato presentato dai ricercatori, progettato per consentire la verifica dei cambiamenti di posizione in agenti basati su LLM, concettualizzando la credenza come uno stato evidenziale relativo a una proposizione. BE organizza gli argomenti in una memoria strutturata e modifica le posizioni utilizzando una regola log-odds influenzata dall'assorbimento di prove e dall'ancoraggio precedente. Spazzate parametriche condotte su vari LLM di base dimostrano che questi controlli influenzano costantemente le dinamiche di posizione, mantenendo una traccia degli aggiornamenti a livello di prova. Sul dataset DEBATE, BE eccelle nel ricostruire partecipanti la cui posizione finale si allinea con le prove estratte.
Fatti principali
- 1. Belief Engine (BE) è un livello di aggiornamento delle credenze verificabile per agenti LLM.
- 2. BE tratta la credenza come uno stato evidenziale su una proposizione esposta come posizione scalare.
- 3. BE estrae gli argomenti in una memoria strutturata.
- 4. La posizione viene aggiornata con una regola log-odds controllata dall'assorbimento di prove u e dall'ancoraggio precedente a.
- 5. Sono state effettuate spazzate parametriche su più LLM di base.
- 6. BE conserva una traccia di aggiornamento a livello di prova.
- 7. DEBATE è un dataset di deliberazione umana con opinioni pre/post.
- 8. BE ricostruisce al meglio i partecipanti la cui posizione finale segue le prove estratte.
Entità
Istituzioni
- arXiv