Detecting Inconsistencies in Model Specifications with LLM-as-Verifier Reasoning

📄 arXiv: 2610.01847v1 📥 PDF

作者: Zichen Xie, Mrigank Pawagi, Lize Shao, Yang Hu, Wenxi Wang

分类: cs.SE, cs.AI, cs.CL

发布日期: 2026-10-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出VeriSpec以解决模型规范不一致性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型规范 不一致性检测 大型语言模型 自然语言处理 验证器推理 结构化规则 主题引导图

📋 核心要点

  1. 现有方法在检测模型规范不一致性时面临挑战，难以平衡自然语言的细微差别与行为测试的可靠性。
  2. 论文提出VeriSpec，通过保留自然语言规范并利用LLM作为验证器，直接审计规范文本以检测不一致性。
  3. 实验结果表明，VeriSpec在识别验证不一致性方面表现优异，精度达到38.5%，且验证成本最低。

📝 摘要（中文）

模型规范定义了大型语言模型（LLMs）的行为，指导对齐训练、推理行为和评估。然而，这些规范可能存在缺陷：两个合理的原则在同一情境下可能会规定不兼容的行为，导致无法同时满足。检测这种不一致性具有挑战性。我们提出了VeriSpec，这是第一种通过审计规范文本直接检测模型规范不一致性的方法。我们的关键见解是保留自然语言规范，同时使用LLM作为验证器。VeriSpec提取结构化的上下文感知规则，构建主题引导图以聚类同一权威级别的行为相关规则，并应用LLM作为验证器的推理来检测不一致性。我们在OpenAI模型规范上应用VeriSpec，提取了405条规则，并手动验证了五个不一致性，所有问题均已报告给开发者，并得到了积极回应。与五个基线相比，VeriSpec识别了最多的验证不一致性，达到了最高的精度（38.5%），并且每个验证不一致性的成本最低（11.12美元）。这些结果确立了直接规范审计作为行为对齐评估的实用补充，在问题形成模型之前捕捉缺陷。

🔬 方法详解

问题定义：论文要解决的问题是如何有效检测模型规范中的不一致性。现有方法在形式化自然语言规范时可能会丧失细微差别，而基于行为的测试又无法可靠地区分规范缺陷与模型行为的差异。

核心思路：论文的核心解决思路是通过保留自然语言的规范，同时利用大型语言模型（LLM）作为验证器，直接审计规范文本以检测不一致性。这样的设计旨在兼顾自然语言的表达能力与模型的验证能力。

技术框架：整体架构包括几个主要模块：首先提取结构化的上下文感知规则，然后构建主题引导图以聚类同一权威级别的行为相关规则，最后应用LLM作为验证器进行推理以检测不一致性。

关键创新：最重要的技术创新点在于将自然语言规范与LLM结合，形成了一种新的审计方法。这与现有方法的本质区别在于，VeriSpec能够直接在规范文本中识别潜在的不一致性，而不是依赖于模型的行为测试。

关键设计：在技术细节上，VeriSpec通过提取规则时考虑上下文信息，确保规则的结构化和相关性。此外，主题引导图的构建使得规则聚类更加高效，LLM的推理能力则增强了不一致性检测的准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，VeriSpec在识别验证不一致性方面表现优异，识别了405条规则，手动验证了五个不一致性，精度达到38.5%，每个验证不一致性的成本仅为11.12美元。这些结果表明VeriSpec在直接规范审计方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的开发与评估，尤其是在需要高可靠性的场景中，如自动化内容生成、对话系统和智能助手等。通过提前检测规范中的不一致性，开发者可以在模型训练之前解决潜在问题，从而提高模型的整体性能和安全性。

📄 摘要（原文）

Model specifications define how large language models (LLMs) should behave, guiding alignment training, inference-time behavior, and evaluation. Yet these specifications may themselves contain defects: two individually reasonable principles may prescribe incompatible behavior when applied to the same situation, leaving no response that satisfies both. Detecting such inconsistencies is challenging. Formalizing natural-language specifications risks losing subtle distinctions, while behavior-based testing cannot reliably distinguish specification defects from differences in model behavior. We introduce VeriSpec, the first approach to directly detect inconsistencies in model specifications by auditing the specification text itself. Our key insight is to preserve the specification in natural language while using an LLM as a verifier. VeriSpec extracts structured, context-aware rules, constructs a topic-guided graph to cluster behaviorally related rules at the same authority level, and applies LLM-as-verifier reasoning to detect inconsistencies. Applying VeriSpec to the OpenAI Model Spec, we extract 405 rules and manually validate five inconsistencies, all reported to its developers, who responded positively and have initiated internal discussions. Compared with five baselines, VeriSpec identifies the most validated inconsistencies, achieves the highest precision (38.5%), and incurs the lowest cost per validated inconsistency ($11.12). These results establish direct specification auditing as a practical complement to behavioral alignment evaluation, catching defects at the source before they shape any model. The code is available at https://github.com/HIPREL-Group/VeriSpec.