Humanize Olympiad Agents: A Multi-Session Workflow for Olympiad Problem Solving with Solve, Review, Wiki, Verify

📄 arXiv: 2610.13632v1 📥 PDF

作者: Zhengyang Zhang, Jing Xiong, Hongzhou Lin, Juihui Chung, Zijian Zhang, Song Han, Sihao Liu, Ligeng Zhu

分类: cs.AI

发布日期: 2026-10-09

💡 一句话要点

提出HOA框架以提升奥林匹克问题求解能力

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 奥林匹克问题 多会话协调 系统反馈 知识库

📋 核心要点

  1. 现有的LLM代理在复杂问题上表现脆弱，早期错误可能导致后续问题，缺乏领域知识会阻碍进展。
  2. HOA框架通过独立评审、结构化维基和验证器三种反馈机制，协调多个代理会话，提升问题求解能力。
  3. HOA在IMO、IPhO和IOI等竞赛中取得满分，并在PutnamBench上解决了672个问题，显示出显著的性能提升。

📝 摘要（中文）

大型语言模型（LLM）代理在长时间科学和奥林匹克任务上的表现迅速提升。尽管已有系统在Navier-Stokes问题和Erdős猜想数据库中取得了成果，但单一代理会在复杂问题上出现脆弱性。本文提出HOA（Humanize Olympiads Agent），一个开放的多会话工作流框架，通过独立评审、结构化维基和验证器三种反馈渠道，协调多个代理会话。实验表明，HOA在多个奥林匹克竞赛中取得了优异成绩，展示了系统反馈在提升模型能力方面的重要性。

🔬 方法详解

问题定义：本文旨在解决现有LLM代理在复杂奥林匹克问题求解中的脆弱性，尤其是早期错误传播和缺乏领域知识的问题。

核心思路：HOA框架通过引入多会话协调机制，结合独立评审、知识维基和验证器，提供系统性反馈，以增强模型的求解能力和稳定性。

技术框架：HOA的整体架构包括三个主要模块：独立评审者负责评估候选解并提供反馈；结构化维基提供任务特定的知识；验证器则对生成的Lean证明进行验证，确保其与可信挑战声明的一致性。

关键创新：HOA的最大创新在于其多会话协调机制，通过系统性反馈解决了单一代理在复杂问题上的脆弱性，显著提升了求解的准确性和可靠性。

关键设计：在设计中，HOA采用了结构化的知识库和独立评审机制，确保每个代理会话都能获得必要的领域知识和反馈，进而优化求解过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

HOA在IMO、IPhO和IOI等竞赛中取得满分，并在IChO 2026问题集上接近满分，解决了PutnamBench上的672个问题，显示出82.6%的高效解题率，超越了现有的基线模型，证明了系统反馈的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育、科学研究和自动化问题求解等。通过提升LLM在复杂任务中的表现，HOA框架能够为学生和研究人员提供更强大的工具，促进科学探索和学习效率的提高。

📄 摘要（原文）

Large language model (LLM) agents are rapidly improving on long-horizon scientific and olympiad tasks. Recent systems have produced a Lean-formalized resolution of the Navier--Stokes problem and autonomous solutions to four open questions in the Erdős Conjectures database. Yet neither system releases both its underlying model and complete inference stack. More broadly, a single agent session remains brittle on difficult problems: early errors can propagate, missing domain knowledge can stall progress, and apparent success can mask a misinterpretation or weakening of the original task. We introduce HOA (Humanize Olympiads Agent), an open, flow-level framework that coordinates multiple agent sessions through three complementary feedback channels. First, an independent reviewer evaluates each candidate and provides actionable feedback. Second, a structured wiki supplies task-specific knowledge that may be missing or unreliable in model pretraining. Third, a verifier checks generated Lean proofs against trusted challenge statements. With GPT-5.6 Sol, HOA achieves perfect scores on the IMO, IPhO, and IOI 2026, near-full marks on the IChO 2026 problem set, and solves all 672 problems (100%) on PutnamBench. On the Lean-Eval leaderboard, HOA ranks first, solving 251 of 304 problems (82.6%). We further evaluate HOA with open models. Using Kimi-K3, HOA achieves full scores on the IMO, IPhO, and IOI, and a gold-level score of 97.1% on the IChO. These results closely match the closed-source GPT-5.6 Sol + /Goal baseline on the IMO and IPhO, while exceeding it on the IChO and IOI, demonstrating that systematic feedback can help bridge substantial differences in base-model capability.