Computation, Not Memory: Chain-of-Thought and State Tracking in LLM Agents
作者: Pedram Mouseli, Massieh Moayedi
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-10-19
💡 一句话要点
提出基于推理生成与状态跟踪的LLM代理方法以解决动态状态下的决策问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 推理生成 状态跟踪 动态决策 智能代理 文件系统任务 机器学习
📋 核心要点
- 现有的语言模型代理在动态状态下的决策过程中，推理与行动之间的关系尚不明确，导致决策不够准确。
- 本文提出了一种新的方法，通过在每个行动时生成推理，并分析保留早期推理的效果，从而优化代理的决策过程。
- 实验结果表明，推理在行动时生成的内容显著减少了锁冲突命令，而保留早期推理对任务完成的帮助有限。
📝 摘要（中文）
语言模型代理在行动前通常需要进行推理，而这种推理与其行动之间的关系至关重要。本文探讨了在状态变化的情况下，代理的推理如何影响其行动。通过一个小型文件系统任务，代理需要从历史中重建当前锁状态，以安全移动文件。研究表明，推理在行动时生成的内容对减少锁冲突命令的影响显著，而保留早期推理对规则遵循的帮助有限。不同历史的推理内容对代理的决策有显著影响，缺乏推理时，线性探测器从模型激活中恢复状态的效果与文本分类器相当，但解码准确性并不能预测哪些干预会改变代理的行动。
🔬 方法详解
问题定义：本文旨在解决语言模型代理在动态状态下如何依赖推理进行准确决策的问题。现有方法在推理与行动的关系上存在不足，导致代理在状态变化时无法有效行动。
核心思路：论文的核心思路是将推理分为两部分：在每次行动前生成推理和保留早期推理。通过这种方式，研究了不同推理对代理决策的影响，特别是在状态变化时的表现。
技术框架：整体架构包括一个文件系统任务，代理需要根据历史信息重建当前锁状态。主要模块包括推理生成模块和状态跟踪模块，分别负责生成推理和监控状态变化。
关键创新：最重要的技术创新在于明确区分推理生成与保留的作用，发现推理生成在行动时对减少错误命令的贡献显著，而保留早期推理的效果有限。
关键设计：在实验中，使用了Qwen3-8B和Qwen3.5-9B模型，设计了不同的推理输入，包括填充文本和准确的状态表，以评估其对代理行为的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在行动时生成的推理显著减少了锁冲突命令，提升幅度明显。与保留早期推理相比，后者对规则遵循的帮助有限，表明推理生成的时机对决策效果至关重要。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化文件管理系统和其他需要动态决策的智能代理。通过优化推理与状态跟踪的关系，可以提升代理在复杂环境中的决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Language-model agents often reason before they act, and the value of monitoring that reasoning depends on how it relates to their actions. We ask how an agent's actions depend on its reasoning when the correct action depends on a changing state. In a small file-system task, background events announce which file's lock has been toggled but not its new value. The agent therefore has to reconstruct the current locks from its history before it can move files safely. With Qwen3-8B and Qwen3.5-9B, we separate two roles of reasoning: generating it before each action, and retaining earlier reasoning in the prompt. Most of the reduction in lock-violating commands comes from reasoning written at the moment of action. Retaining earlier reasoning adds little to rule-following, although it helps one model complete the task. The benefit depends on what the reasoning says. Filler text, reasoning written for another history and an accurate table of the state do not reproduce it. When we give the agent reasoning written for a history that differs in one lock value, the agent acts on that reasoning even against its own history. Without reasoning, linear probes recover the state from the model's activations about as well as a text classifier recovers it from the transcript. However, decoding accuracy does not predict which interventions change the agent's actions. In this setting, the benefit of reasoning for rule-following comes mainly from generating it at each step. The state that can be decoded without reasoning is a limited guide to how the agent acts.