Reasoning as Energy Minimization over Structured Latent Trajectories

📄 arXiv: 2603.28248v1 📥 PDF

作者: David K. Johansson

分类: cs.AI

发布日期: 2026-03-30

备注: 7 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于能量最小化的结构化隐空间轨迹推理方法，解决单步解码和链式推理的不足。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 能量模型 隐空间规划 推理 轨迹优化 分布匹配

📋 核心要点

  1. 现有单步解码器缺乏迭代优化，而链式推理方法缺乏推理进度的标量度量。
  2. EBRM将推理建模为能量函数下的隐空间轨迹优化，通过梯度下降或朗之万动力学寻找最优解。
  3. 实验表明，该方法在图和逻辑任务上有效，但在算术任务上表现不佳，并分析了分布不匹配问题。

📝 摘要（中文）

本文提出了一种基于能量的结构化隐空间规划推理方法(EBRM)，将推理建模为在学习到的能量函数E(hx, z)下，对多步隐空间轨迹z_{1:T}进行基于梯度的优化。该能量函数分解为每步的兼容性项、转移一致性项和轨迹平滑项。训练结合了监督编码器-解码器学习和使用难负样本的对比能量整形。推理过程对z执行梯度下降或朗之万动力学，并从z_T解码。研究发现，在CNF逻辑满足性问题上，隐空间规划导致准确率从约95%降至约56%，这是由于解码器在编码器输出hx上训练，但在规划器输出z_T上评估时，漂移到未见过的隐空间区域，造成分布不匹配。为解决此问题，提出了双路径解码器训练和隐空间锚定。此外，还引入了一个六部分消融实验协议，涵盖组件贡献、轨迹长度、规划器动力学、初始化、解码器训练分布和锚定权重。在三个合成任务上的实验表明，能量单调递减，并在图和逻辑任务上诱导出结构化的隐空间轨迹，而在算术任务上保持平坦（r = 0.073），表明结果不佳。代码可在https://github.com/dkjo8/ebr-via-structured-latent-planning获取。

🔬 方法详解

问题定义：现有单步解码器直接输出答案，缺乏迭代修正能力；链式推理方法虽然引入了中间步骤，但缺乏对推理过程进度的量化评估。这导致模型难以处理复杂的推理任务，并且缺乏可解释性。

核心思路：将推理过程视为在隐空间中寻找最优轨迹的过程。通过学习一个能量函数，该函数能够评估轨迹的质量，并利用梯度下降或朗之万动力学等优化方法，在隐空间中搜索能量最低的轨迹。轨迹的每一步代表推理过程中的一个中间状态，最终状态对应于问题的答案。

技术框架：EBRM包含一个编码器、一个能量函数和一个解码器。编码器将输入问题编码为隐向量hx。能量函数E(hx, z)评估隐空间轨迹z_{1:T}的质量，它由三部分组成：每步的兼容性项、转移一致性项和轨迹平滑项。推理过程通过在能量函数上执行梯度下降或朗之万动力学来优化轨迹z。最后，解码器将轨迹的最终状态z_T解码为问题的答案。

关键创新：将推理过程建模为能量最小化问题，并引入了结构化的隐空间轨迹。这种方法允许模型进行迭代推理，并提供了一种量化推理进度的手段。此外，论文还提出了双路径解码器训练和隐空间锚定等技术，以解决训练和推理过程中的分布不匹配问题。

关键设计：能量函数E(hx, z)的设计至关重要，它需要能够准确地评估轨迹的质量。论文中，能量函数由三部分组成：兼容性项衡量轨迹每一步与输入问题的相关性；转移一致性项衡量相邻步骤之间的合理性；轨迹平滑项鼓励轨迹的平滑性。此外，双路径解码器训练通过同时在编码器输出和规划器输出上训练解码器，来缓解分布不匹配问题。隐空间锚定则通过引入额外的损失函数，将轨迹约束在已知的良好区域内。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验表明，EBRM在图和逻辑任务上能够学习到结构化的隐空间轨迹，并且能量函数能够单调递减。然而，在算术任务上，该方法表现不佳，能量函数几乎没有变化。此外，论文还分析了在CNF逻辑满足性问题上出现的分布不匹配问题，并提出了双路径解码器训练和隐空间锚定等解决方案。消融实验验证了各个组件的有效性。

🎯 应用场景

该研究成果可应用于需要复杂推理能力的领域，例如知识图谱推理、逻辑推理、规划和决策等。通过引入结构化的隐空间轨迹，可以提高模型的可解释性和鲁棒性，使其能够更好地处理复杂的推理任务。此外，该方法还可以用于生成更具创造性的文本或图像，例如通过在隐空间中规划出一条符合特定风格的轨迹。

📄 摘要（原文）

Single-shot neural decoders commit to answers without iterative refinement, while chain-of-thought methods introduce discrete intermediate steps but lack a scalar measure of reasoning progress. We propose Energy-Based Reasoning via Structured Latent Planning (EBRM), which models reasoning as gradient-based optimization of a multi-step latent trajectory $z_{1:T}$ under a learned energy function $E(h_x, z)$. The energy decomposes into per-step compatibility, transition consistency, and trajectory smoothness terms. Training combines supervised encoder-decoder learning with contrastive energy shaping using hard negatives, while inference performs gradient descent or Langevin dynamics over $z$ and decodes from $z_T$. We identify a critical failure mode: on CNF logic satisfaction, latent planning reduces accuracy from $\approx 95\%$ to $\approx 56\%$. This degradation arises from a distribution mismatch, where the decoder is trained on encoder outputs $h_x$ but evaluated on planner outputs $z_T$ that drift into unseen latent regions. We analyze this behavior through per-step decoding, latent drift tracking, and gradient decomposition. To address it, we propose dual-path decoder training and latent anchoring. We further introduce a six-part ablation protocol covering component contributions, trajectory length, planner dynamics, initialization, decoder training distribution, and anchor weight. Experiments on three synthetic tasks show that energy decreases monotonically and induces structured latent trajectories on graph and logic tasks, while remaining flat on arithmetic ($r = 0.073$), indicating a negative result. Code is available at https://github.com/dkjo8/ebr-via-structured-latent-planning.