DIANOIA: Nuovo Quadro Diagnostico per Sistemi LLM Multi-Agente
Un nuovo quadro diagnostico chiamato DIANOIA è stato sviluppato da ricercatori per sistemi LLM multi-agente, scomponendo il guadagno di ragionamento in tre componenti quantificabili: copertura, fedeltà e sintesi. Questo quadro presenta un protocollo progettato per individuare i canali di collo di bottiglia per vari compiti ed è realizzato come un sistema multi-agente con diversi propositori, verifica basata sull'esecuzione e sintesi iterativa. Nelle valutazioni su benchmark come GSM8K, AIME-2025, MBPP e BFCL-SP, DIANOIA supera robusti baselines multi-agente rispettando budget di token equivalenti, guidando efficacemente il fronte di Pareto. Questa ricerca colma una lacuna nel campo fornendo un quadro diagnostico con primitive misurabili e previsioni verificabili.
Fatti principali
- DIANOIA scompone il guadagno di ragionamento multi-agente in copertura, fedeltà e sintesi.
- Ogni canale è empiricamente misurabile.
- Un protocollo diagnostico identifica i canali di collo di bottiglia per qualsiasi compito.
- Il sistema include propositori con ruoli diversi, verifica basata sull'esecuzione e sintesi iterativa.
- Testato sui benchmark GSM8K, AIME-2025, MBPP e BFCL-SP.
- Supera forti baselines multi-agente con budget di token equivalenti.
- Domina il fronte di Pareto.
- Colma la lacuna nei quadri diagnostici per sistemi LLM multi-agente.
Entità
Istituzioni
- arXiv