Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

📄 arXiv: 2601.16087v1 📥 PDF

作者: Sukesh Subaharan

分类: cs.AI, cs.CL

发布日期: 2026-01-22

备注: Supplementary materials can be found here: https://github.com/drsukeshs/agent-behavior-ext-dynamics

💡 一句话要点

提出基于显式状态动态的语言模型Agent控制方法，提升长程交互行为一致性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型Agent 情感动态 长程对话 状态控制 Valence-Arousal-Dominance

📋 核心要点

  1. 现有LLM Agent在长程对话中缺乏一致性，容易出现语气和角色突变，缺乏对Agent状态的有效建模。
  2. 论文提出在LLM Agent外部维护一个VAD情感状态，并使用一阶或二阶动态更新规则来控制情感变化。
  3. 实验表明，引入状态持久性可以实现延迟响应和可靠恢复，二阶动态则揭示了稳定性和响应性之间的权衡。

📝 摘要（中文）

大型语言模型(LLM) Agent在长时间交互中常表现出语气和角色突变，反映了Agent层面状态缺乏明确的时间结构。现有工作侧重于单轮情感或静态情绪分类，而显式情感动态在塑造长程Agent行为中的作用尚未充分探索。本文研究了对外部情感状态施加动态结构是否能诱导多轮对话中的时间连贯性和可控恢复。我们引入了一个Agent级情感子系统，该子系统维护一个连续的Valence-Arousal-Dominance (VAD)状态，该状态位于语言模型外部，并受一阶和二阶更新规则的约束。瞬时情感信号使用固定的、无记忆的估计器提取，并通过指数平滑或基于动量的动态随时间积分。由此产生的情感状态被注入回生成过程，而不修改模型参数。使用固定的25轮对话协议，我们比较了无状态、一阶和二阶情感动态。无状态Agent无法表现出连贯的轨迹或恢复，而状态持久性能够实现延迟响应和可靠恢复。二阶动态引入了随动量增加的情感惯性和滞后，揭示了稳定性和响应性之间的权衡。

🔬 方法详解

问题定义：现有的大型语言模型Agent在长程对话中，由于缺乏对Agent状态的有效建模，容易出现语气和角色突变，导致对话不连贯。现有的方法主要关注单轮对话的情感分析，忽略了情感状态在时间上的动态变化，无法保证Agent行为的长程一致性。

核心思路：论文的核心思路是在语言模型Agent外部维护一个情感状态，并使用动态系统来模拟情感状态随时间的变化。通过将情感状态反馈给语言模型，可以影响Agent的生成行为，从而实现对Agent行为的控制。这种方法的核心在于将情感状态显式化，并赋予其时间动态特性。

技术框架：整体框架包含以下几个主要模块：1) 瞬时情感信号提取器：使用固定的、无记忆的估计器从对话文本中提取Valence-Arousal-Dominance (VAD)情感信号。2) 情感状态更新器：使用一阶或二阶动态更新规则，根据提取的情感信号更新Agent的VAD情感状态。3) 语言模型：使用更新后的情感状态作为输入，生成下一轮的对话文本。整个流程是循环进行的，每一轮对话都会更新Agent的情感状态，并影响下一轮的生成行为。

关键创新：最重要的技术创新点在于引入了Agent级别的显式情感状态，并使用动态系统来模拟情感状态随时间的变化。与现有方法相比，该方法能够更好地捕捉情感状态的时间依赖性，从而实现对Agent行为的长程控制。此外，该方法不需要修改语言模型的参数，具有较好的通用性和可扩展性。

关键设计：论文中使用了Valence-Arousal-Dominance (VAD)模型来表示情感状态。情感状态的更新规则采用了一阶和二阶动态系统，具体形式为指数平滑和基于动量的更新规则。实验中使用了固定的25轮对话协议，并比较了无状态、一阶和二阶情感动态的效果。情感信号提取器使用了预训练的情感分析模型，具体模型类型未知。

📊 实验亮点

实验结果表明，引入状态持久性可以实现延迟响应和可靠恢复，显著提升了Agent在长程对话中的一致性。与无状态Agent相比，具有情感动态的Agent能够更好地维持情感轨迹，并在受到外部干扰后恢复到初始状态。二阶动态引入了情感惯性和滞后，揭示了稳定性和响应性之间的权衡，为Agent的设计提供了新的思路。

🎯 应用场景

该研究成果可应用于智能客服、虚拟助手、游戏角色等需要长时间交互的场景。通过控制Agent的情感状态，可以提升用户体验，增强Agent的个性化和可信度。未来，该方法可以扩展到其他Agent状态的建模和控制，例如知识状态、目标状态等，从而实现更智能、更可控的Agent行为。

📄 摘要（原文）

Large language model (LLM) agents often exhibit abrupt shifts in tone and persona during extended interaction, reflecting the absence of explicit temporal structure governing agent-level state. While prior work emphasizes turn-local sentiment or static emotion classification, the role of explicit affective dynamics in shaping long-horizon agent behavior remains underexplored. This work investigates whether imposing dynamical structure on an external affective state can induce temporal coherence and controlled recovery in multi-turn dialogue. We introduce an agent-level affective subsystem that maintains a continuous Valence-Arousal-Dominance (VAD) state external to the language model and governed by first- and second-order update rules. Instantaneous affective signals are extracted using a fixed, memoryless estimator and integrated over time via exponential smoothing or momentum-based dynamics. The resulting affective state is injected back into generation without modifying model parameters. Using a fixed 25-turn dialogue protocol, we compare stateless, first-order, and second-order affective dynamics. Stateless agents fail to exhibit coherent trajectories or recovery, while state persistence enables delayed responses and reliable recovery. Second-order dynamics introduce affective inertia and hysteresis that increase with momentum, revealing a trade-off between stability and responsiveness.