MAVEN: Framework Multi-Agente per il Ragionamento LLM con Audit Epistemico
MAVEN (Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing) è un framework ispirato all'architettura blackboard che consente ai grandi modelli linguistici (LLM) di impegnarsi in un ragionamento intenzionale separando distintamente i ruoli. Implementa un ciclo avversario che coinvolge uno Scettico, un Ricercatore e un Giudice, imitando discussioni esperte dissociando la giustificazione logica dall'accuratezza fattuale. I test condotti sui benchmark OpenBookQA, TruthfulQA, HALUEVAL e StrategyQA indicano che MAVEN migliora significativamente la qualità del ragionamento su quattro metriche dettagliate, superando costantemente le prestazioni degli approcci di ragionamento latente. Questo framework affronta il problema della mancanza di verifica intermedia nelle catene di ragionamento unificate, che può portare a errori iniziali non controllati, minando la fiducia epistemica in applicazioni critiche. MAVEN mira a migliorare l'interpretabilità del modello e l'audit dettagliato.
Fatti principali
- MAVEN sta per Multi-Agent Verification-Elaboration Network with In-Step Epistemic Auditing.
- È un framework ispirato alla blackboard per LLM.
- Utilizza un ciclo avversario Scettico-Ricercatore-Giudice.
- Testato sui benchmark OpenBookQA, TruthfulQA, HALUEVAL e StrategyQA.
- Supera le modalità di ragionamento latente su quattro metriche dettagliate.
- Affronta gli errori a cascata nelle catene di ragionamento monolitiche.
- Migliora l'interpretabilità e la fiducia epistemica.
- Proposto per applicazioni ad alto rischio.
Entità
—