LeAct: Learning to Reason from Expert Actions
作者: Ziran Yang, Chengshuai Shi, Raj Ghugare, Benjamin Eysenbach, Karthik Narasimhan, Chi Jin
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-07-23
备注: 27 pages, 3 figures, 11 tables
💡 一句话要点
提出LeAct以从专家行动中学习推理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 专家系统 推理模型 潜变量优化 机器人控制 游戏AI 知识提炼 深度学习
📋 核心要点
- 现有推理模型依赖于人类注释或强大语言模型的提取数据，缺乏有效利用专家系统的能力。
- LeAct通过从专家行动中学习推理，优化潜变量以恢复思维链，从而实现知识的提炼与推广。
- 在多个实验中，LeAct在小规模游戏中达到了求解器的性能下限，并在大规模任务中显著优于现有基线。
📝 摘要（中文）
现代推理模型依赖于人类注释或从更强大的大语言模型中提取的推理数据。然而，专家系统（如游戏引擎、经典规划器、定理证明器）提供了一种丰富且未被充分利用的监督来源，这些系统在不同领域中定期生成近乎最优的行动。专家在做出行动时并未记录其背后的思维链（CoT）。本研究将其视为潜变量，探讨如何仅从行动中恢复CoT。我们提出的LeAct（从行动中学习推理）优化这一潜变量，学生为每个专家行动采样候选CoT，并保留那些显著提高其恢复行动概率的候选CoT。在多个规模的非完美信息游戏和模拟机器人基准测试中，LeAct在小规模可枚举游戏中达到了求解器的数值下限。在更大规模上，LeAct比最强的专家迭代基线更接近求解器$5 imes$。在Flop Hold'em（约$10^9$信息集）中，LeAct以$+60$ mbb/g的优势胜出，并且在机器人探测中是唯一一种在直接模仿上有所提升的训练方案。我们提出了一个原则性框架，结果表明专家系统成为基础模型的新型推理教师来源。
🔬 方法详解
问题定义：本研究旨在解决如何从专家系统的行动中恢复其背后的思维链（CoT），现有方法主要依赖于人类注释或强大语言模型的提取，未能有效利用专家系统的潜力。
核心思路：LeAct通过将思维链视为潜变量，利用专家行动进行学习。学生模型为每个专家行动生成候选CoT，并保留那些能显著提高恢复行动概率的候选CoT，从而实现知识的提炼与推广。
技术框架：LeAct的整体架构包括数据采样、候选CoT生成、概率优化等主要模块。首先，从专家系统中获取行动数据，然后生成候选CoT，最后通过优化算法选择最佳候选。
关键创新：LeAct的核心创新在于将专家系统的行动与潜在思维链结合，形成了一种新的学习机制，与传统依赖人类注释的方式本质上不同。
关键设计：在设计中，LeAct采用了特定的损失函数来优化候选CoT的选择，并通过多层神经网络结构来提高模型的表达能力和学习效率。
🖼️ 关键图片
📊 实验亮点
在实验中，LeAct在小规模可枚举游戏中达到了求解器的数值下限，并在Flop Hold'em中以$+60$ mbb/g的优势胜出。此外，LeAct在机器人探测任务中是唯一一种在直接模仿上有所提升的训练方案，展示了其独特的有效性。
🎯 应用场景
LeAct的研究成果在多个领域具有广泛的应用潜力，尤其是在游戏AI、机器人控制和自动推理系统中。通过利用专家系统的知识，LeAct能够提升模型的推理能力和决策效率，推动智能系统的进一步发展。
📄 摘要（原文）
Modern reasoning models depend on reasoning data, today sourced from human annotations or distilled from stronger LLMs. However, a rich and largely untapped source of supervision lies in expert systems (e.g., game engines, classical planners, theorem provers), which routinely produce near-optimal actions across diverse domains. But these experts are silent: they commit to an action without writing down the chain of thought (CoT) behind it. Recovering that CoT as natural-language reasoning would distill expert knowledge into a student that generalizes beyond the demonstrated actions. We treat it as a latent variable and study how to recover it from the action alone. Our approach, LeAct (Learning to reason from Actions), optimizes this latent variable: the student samples candidate CoTs for each expert action, and we retain those that measurably improve its own probability of recovering the action. Across imperfect-information games at multiple scales and a simulated robotics benchmark, LeAct reaches the solver's numerical floor on small enumerable games. At larger scale, it is $5\times$ closer to the solver than the strongest expert-iteration baseline. At Flop Hold'em ($\sim 10^9$ infosets), LeAct wins head-to-head by $+60$ mbb/g, and on the robotics probe it is the only training recipe that improves on direct imitation. We present a principled framework and the result: expert systems become a categorically new source of reasoning teachers for foundation models.