Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents

📄 arXiv: 2607.09195v1 📥 PDF

作者: Izumi Takahara, Teruyasu Mizoguchi

分类: cs.AI, cond-mat.mtrl-sci

发布日期: 2026-07-10

💡 一句话要点

提出假设演变协议以实现可审计的AI科学家

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 假设演变 可审计性 科学发现 材料科学 AI科学家 透明性 信念更新

📋 核心要点

  1. 现有的LLM代理在科学研究中缺乏可审计性，假设和测试过程被埋藏在非结构化日志中，难以追踪和验证。
  2. 本文提出的假设演变协议（HEP）使得假设生成、评估和演变成为明确的操作，增强了代理的透明性和可审计性。
  3. 实验结果表明，HEP装备的代理在材料科学研究任务中有效地执行假设-测试-证据-信念循环，提升了研究的通用性和效率。

📝 摘要（中文）

大型语言模型（LLM）代理在AI驱动的科学发现中日益重要，具备广泛的知识、灵活的推理和工具使用能力。然而，现有代理的假设、测试和信念更新过程缺乏可审计性。为此，本文提出了假设演变协议（HEP），使得假设生成、评估和演变成为明确的可审计操作。通过在材料科学研究任务中的应用，HEP装备的代理能够有效地进行假设-测试-证据-信念的循环，克服了规划风格代理的不足，并随着基础LLM能力的提升而更充分地利用该协议。这一研究标志着朝着可审计的AI科学家迈出了重要一步，能够对其科学推理进行检查和验证。

🔬 方法详解

问题定义：本文旨在解决现有LLM代理在科学研究中缺乏可审计性的具体问题。现有方法的痛点在于假设、测试和信念更新过程被记录在非结构化日志中，难以进行审计和验证。

核心思路：论文提出的假设演变协议（HEP）通过将假设生成、评估和演变过程明确化，使得这些操作可审计，从而提高了科学研究的透明度和可靠性。

技术框架：HEP的整体架构包括假设生成模块、测试模块、证据评估模块和信念更新模块。代理通过这些模块循环执行假设-测试-证据-信念的过程，形成一个闭环。

关键创新：HEP的最大创新在于将科学推理过程的各个环节显式化，使得每一步都可以被审计和验证。这与现有方法的隐式记录方式形成了本质区别。

关键设计：在HEP中，关键设计包括假设生成的算法选择、测试的评估标准以及信念更新的策略。这些设计确保了代理在面对不同研究问题时的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HEP装备的代理在材料科学研究任务中有效地执行假设-测试-证据-信念循环，相较于传统的规划风格代理，提升了研究的通用性和效率。具体性能数据和提升幅度未知，但结果表明HEP在处理复杂研究问题时表现出色。

🎯 应用场景

该研究的潜在应用领域包括材料科学、药物发现和其他需要假设验证的科学研究。通过提供可审计的科学推理过程，HEP能够增强研究的透明度和可信度，促进科学发现的进展。未来，HEP有望在更广泛的科学领域中推广，推动AI科学家的发展。

📄 摘要（原文）

Large language model (LLM) agents are increasingly expected to play a central role in AI-driven scientific discovery. Equipped with broad knowledge, flexible reasoning, and tool use, they have the potential to autonomously explore and solve scientific problems by repeatedly proposing hypotheses, testing them, and revising their beliefs in the light of the evidence. In current agents, however, these hypotheses, tests, and belief updates are buried in unstructured logs, and no mechanism lets the agent or the human researcher audit that process. Here we propose the Hypothesis Evolution Protocol (HEP), an agent harness that provides hypothesis generation, evaluation, and evolution as explicit, auditable operations. On materials-science research tasks, a HEP-equipped agent operates the hypothesis--test--evidence--belief cycle that planning-style agents lack, generalizes across research questions, and exploits the protocol more fully as the base LLM becomes more capable. These results mark a step toward auditable AI scientists, whose scientific reasoning can be inspected, verified, and built upon.