OptArgus: A Multi-Agent System to Detect Hallucinations in LLM-based Optimization Modeling
作者: Zhong Li, Zihan Guo, Xiaohan Lu, Juntao Wang, Jie Song, Chao Shen, Jiageng Wu, Mingyang Sun
分类: cs.AI
发布日期: 2026-05-12
💡 一句话要点
提出OptArgus以解决LLM优化建模中的幻觉检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 优化建模 幻觉检测 多代理系统 结构一致性审计 细粒度分类法 自动化决策
📋 核心要点
- 现有方法在优化建模中仅依赖数值匹配，无法有效检测潜在的语义变化和错误。
- 论文提出了一种多代理检测系统OptArgus，结合细粒度幻觉分类法进行结构一致性审计。
- 实验结果表明，OptArgus在清洁工件上误报更少，控制单错误案例定位更准确，且在自然模型输出上检测能力更强。
📝 摘要（中文）
大型语言模型（LLMs）在将自然语言优化问题转化为数学模型和求解代码中应用越来越广泛，但仅通过匹配参考目标值来测试正确性并不可靠，因为数值一致性可能掩盖优化语义的变化。本文将这一问题定义为优化建模幻觉检测，提出了一种针对问题描述、符号模型和求解实现的结构一致性审计方法。我们开发了首个针对优化建模的细粒度幻觉分类法，并基于此设计了OptArgus，一个多代理检测系统。通过引入三部分基准测试套件进行评估，OptArgus在清洁工件上产生更少的误报，在控制单错误案例中提供更准确的定位，并在自然模型输出上实现更强的检测能力。
🔬 方法详解
问题定义：本文解决的是在大型语言模型生成的优化建模中，如何有效检测潜在的幻觉现象。现有方法主要依赖数值匹配，无法识别语义上的错误或变化，导致优化结果的不可靠性。
核心思路：论文的核心思路是通过引入细粒度的幻觉分类法，构建一个多代理系统OptArgus，进行结构一致性审计，确保问题描述、符号模型和求解实现之间的一致性。
技术框架：OptArgus的整体架构包括多个模块：代理路由模块负责协调各个审计代理，专业审计模块针对不同类型的幻觉进行检测，证据整合模块则汇总各个代理的检测结果，形成最终的判断。
关键创新：最重要的技术创新在于提出了针对优化建模的细粒度幻觉分类法，涵盖目标、变量、约束和实现失败等多个方面，与现有方法相比，提供了更全面的检测能力。
关键设计：在设计中，OptArgus采用了模块化的架构，允许不同的审计代理专注于特定类型的错误，同时在参数设置和损失函数上进行了优化，以提高检测的准确性和效率。具体的网络结构和参数设置在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，OptArgus在清洁工件上产生的误报率显著低于单代理基线，且在控制单错误案例中，定位准确率提升明显。此外，在自然生成的模型输出中，OptArgus的检测能力也表现出更强的优势，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括优化建模、自动化决策系统和智能合约等。通过提高优化模型的可靠性，OptArgus能够在工业、金融和科研等多个领域提供更为准确的决策支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly used to translate natural-language optimization problems into mathematical formulations and solver code, but matching the reference objective value is not a reliable test of correctness: an artifact may agree numerically while still changing the underlying optimization semantics. We formulate this issue as \emph{optimization-modeling hallucination detection}, namely structural consistency auditing over the problem description, symbolic model, and solver implementation. We develop, to our knowledge, the first fine-grained hallucination taxonomy specifically for optimization modeling, spanning objective, variable, constraint, and implementation failures. We use this taxonomy to design OptArgus, a multi-agent detector with conductor routing, specialist auditors, and evidence consolidation. To evaluate this setting, we introduce a three-part benchmark suite with $484$ clean artifacts, $1266$ controlled injected artifacts, and $6292$ natural LLM-generated artifacts. Against a matched single-agent baseline, OptArgus produces fewer false alarms on clean artifacts, more accurate top-ranked localization on controlled single-error cases, and stronger detection on natural model outputs. Together, these contributions turn optimization-modeling hallucination detection into a concrete empirical problem and suggest that modular, taxonomy-grounded auditing is a practical route to more reliable optimization modeling.