OptArgus: Sistema Multi-Agente Rileva Allucinazioni nell'Ottimizzazione basata su LLM
Un nuovo sistema multi-agente, OptArgus, è stato creato da ricercatori per identificare allucinazioni nella modellazione di ottimizzazione basata su LLM. Questo sistema affronta il problema per cui il raggiungimento di un valore obiettivo di riferimento non garantisce l'accuratezza semantica; un accordo numerico può comunque distorcere la semantica fondamentale dell'ottimizzazione. I ricercatori hanno affrontato questa sfida come una rilevazione di allucinazioni nella modellazione di ottimizzazione, sottolineando la necessità di controlli di coerenza strutturale tra descrizioni del problema, modelli simbolici e implementazioni del risolutore. Hanno sviluppato una tassonomia dettagliata delle allucinazioni per la modellazione di ottimizzazione, affrontando fallimenti in obiettivi, variabili, vincoli e implementazioni. OptArgus presenta un rilevatore multi-agente con routing del conduttore, auditor specializzati e consolidamento delle prove. Per testare il sistema, è stata creata una suite di benchmark, comprendente 484 artefatti puliti e 1266 esempi fabbricati. Questa ricerca è disponibile su arXiv, identificata da 2605.11738.
Fatti principali
- OptArgus è un sistema multi-agente per rilevare allucinazioni nella modellazione di ottimizzazione basata su LLM.
- Raggiungere il valore obiettivo di riferimento non è un test affidabile di correttezza.
- Il problema è formulato come rilevazione di allucinazioni nella modellazione di ottimizzazione.
- È stata creata una tassonomia fine-grained delle allucinazioni per la modellazione di ottimizzazione.
- La tassonomia copre fallimenti in obiettivi, variabili, vincoli e implementazioni.
- OptArgus utilizza routing del conduttore, auditor specializzati e consolidamento delle prove.
- È stata introdotta una suite di benchmark con 484 artefatti puliti e 1266 esempi artificiosi.
- La ricerca è pubblicata su arXiv con identificatore 2605.11738.
Entità
Istituzioni
- arXiv