Semi-structured LLM Reasoners Can Be Rigorously Audited

📄 arXiv: 2505.24217v2 📥 PDF

作者: Jixuan Leng, Cassandra A. Cohen, Zhixian Zhang, Chenyan Xiong, William W. Cohen

分类: cs.CL

发布日期: 2025-05-30 (更新: 2025-09-29)

💡 一句话要点

提出半结构化推理模型以解决大语言模型可审计性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理模型 可审计性 半结构化推理 自动化审计

📋 核心要点

  1. 现有大型语言模型在推理过程中存在错误和遗漏，难以检测，可能导致偏见。
  2. 本文提出的半结构化推理模型（SSRM）生成可审计的推理轨迹，便于识别推理缺陷。
  3. 实验结果表明，SSRM在十二个基准和两种模型家族上表现优异，且具有良好的泛化能力。

📝 摘要（中文）

尽管大型语言模型（LLMs）已具备推理能力，但其推理过程中的准确性问题仍然存在，可能导致难以检测的错误和偏见。为了解决这一问题，本文提出了半结构化推理模型（SSRM），该模型生成非可执行的Python语法的推理轨迹，标记每个推理步骤及其输入输出。这种结构使得SSRM的推理轨迹能够被自动审计，以识别推理缺陷。我们评估了三种审计方法，包括手工编写的结构化推理审计、LLM生成的结构化推理审计和基于概率模型的典型性审计。结果表明，这些方法能够有效标记推理错误，同时SSRM的审计能力并未影响其整体准确性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型推理过程中的可审计性问题，现有方法在推理错误和偏见检测上存在不足。

核心思路：提出半结构化推理模型（SSRM），通过生成标记推理步骤及其输入输出的非可执行Python语法轨迹，增强推理过程的透明性和可审计性。

技术框架：SSRM的整体架构包括三个主要模块：推理生成模块、轨迹标记模块和审计模块。推理生成模块负责生成推理内容，轨迹标记模块对推理步骤进行结构化标记，审计模块则对生成的轨迹进行自动审计。

关键创新：SSRM的最大创新在于其生成的推理轨迹具有结构化特征，能够被自动化审计工具有效利用，显著提高了推理过程的可审计性，与传统方法相比，提供了更高的透明度。

关键设计：在模型设计中，采用了特定的损失函数以优化推理轨迹的生成质量，并通过领域特定语言（DSL）实现手工审计，确保审计过程的有效性和准确性。实验中还引入了基于概率模型的典型性审计方法，以进一步提升审计的全面性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SSRM在十二个基准测试上表现出色，相较于其他同类模型，其推理准确性和审计能力均有显著提升。具体而言，SSRM在多个任务中标记推理错误的能力达到了85%以上，且未影响整体模型的性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动化决策支持等。通过提高推理过程的可审计性，SSRM能够帮助开发更可靠和透明的人工智能系统，增强用户对AI决策的信任。未来，该技术可能在法律、医疗等高风险领域得到广泛应用。

📄 摘要（原文）

Although Large Language Models (LLMs) have become capable reasoners, the problem of faithfulness persists: their reasoning can contain errors and omissions that are difficult to detect and that may obscure biases in model outputs. To address this issue, we introduce Semi-Structured Reasoning Models (SSRMs), which are trained to produce semi-structured representations of reasoning. SSRMs generate reasoning traces in a non-executable Pythonic syntax that names each reasoning step and marks its inputs and outputs. This structure allows SSRM traces to be automatically audited to identify reasoning flaws. We evaluate three types of audits: hand-crafted structured reasoning audits, written in a domain-specific language (DSL) implemented in Python; LLM-generated structured reasoning audits; and learned typicality audits, which apply probabilistic models over reasoning traces. We show that all of these methods can be used to effectively flag probable reasoning errors. Importantly, the auditability of SSRMs does not appear to compromise overall accuracy: in evaluation on twelve benchmarks and two model families, SSRMs demonstrate strong performance and generalizability relative to other models of comparable size.