When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues
作者: Yancheng Zhu, Yifan Yuan
分类: cs.CL, cs.AI
发布日期: 2026-10-22
备注: Accepted at EMNLP 2026 Main Conference. 17 pages including appendices
🔗 代码/项目: GITHUB
💡 一句话要点
提出StateTrack-Bench以解决长对话中的状态完整性崩溃问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长对话 状态完整性 行为漂移 约束评估 对话系统 大型语言模型 结构化状态锚定
📋 核心要点
- 核心问题：现有大型语言模型在长对话中存在记忆与遵循的脱节，导致状态完整性崩溃。
- 方法要点：提出StateTrack-Bench，通过控制对话来评估模型在不同约束下的表现，分析行为漂移现象。
- 实验或效果：实验结果显示，模型在符号约束下的保留率显著下降，且通过结构化状态锚定技术可显著提升性能。
📝 摘要（中文）
大型语言模型在长对话中可能会重复指令，但未能持续遵循。本文研究了这种记忆与遵循之间的脱节现象，并定义了状态完整性崩溃：模型在记忆中保留约束，但在后续对话中停止应用。我们引入了StateTrack-Bench，一个涵盖数值、格式、角色/人格、事实记忆和逻辑规则约束的对话控制套件。通过对七个模型快照和五个对话深度的探测，严格的联合保留率从62.4%到100.0%不等，降级主要集中在符号约束和一个特别脆弱的模型上。研究发现，88.6%的失败是行为漂移而非普通遗忘，排除脆弱模型后这一比例为84.4%。扩展评估表明，这种脱节现象在核心基准之外仍然存在，而结构化状态锚定在不可变约束上恢复了高达24.4的分数。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在长对话中出现的状态完整性崩溃问题，即模型能够记住约束但不再应用。现有方法未能有效评估模型在长对话中的表现，导致对模型可靠性的误判。
核心思路：论文提出了StateTrack-Bench，一个控制对话的评估框架，旨在系统性地分析模型在不同约束下的表现，特别关注行为漂移现象。通过这种方式，能够更好地理解模型的记忆与遵循之间的关系。
技术框架：整体架构包括对话生成模块、约束评估模块和行为分析模块。对话生成模块负责生成对话内容，约束评估模块用于检查模型是否遵循设定的约束，行为分析模块则用于分析模型在不同对话深度下的表现。
关键创新：最重要的技术创新在于引入了StateTrack-Bench评估框架，使得对话中的约束遵循情况可以被系统性地量化和分析。这一方法与现有的单轮指令跟随评估方法本质上不同，强调了对话状态的动态变化。
关键设计：在实验中，采用了多种约束类型（如数值、格式等），并设计了相应的评估指标。模型的训练过程中，特别关注了损失函数的设置，以确保模型能够在长对话中保持约束的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在符号约束下的严格联合保留率从62.4%到100.0%不等，且88.6%的失败被归类为行为漂移而非普通遗忘。通过结构化状态锚定技术，模型在不可变约束上的性能提升达到24.4分，表明该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括对话系统、智能客服和人机交互等。通过提升模型在长对话中的状态完整性，能够显著改善用户体验，增强系统的可靠性和实用性。未来，该方法还可以扩展到其他类型的对话生成任务中。
📄 摘要（原文）
Large language models can repeat an instruction while failing to keep obeying it. We study this recall-compliance dissociation in long-horizon dialogue and define State Integrity Collapse: a model preserves a stated constraint in memory but stops applying it to later turns. We introduce StateTrack-Bench, a controlled suite of conversations covering numerical, format, role/persona, factual-memory, and logical-rule constraints. Across seven provider-pinned model snapshots and five dialogue-depth probes, strict joint retention ranges from 62.4% to 100.0%, with degradation concentrated in symbolic constraints and in one especially brittle model. A forked recall audit shows that 88.6% of observed failures are behavioral-drift failures rather than ordinary forgetting; excluding the brittle outlier preserves this diagnosis (84.4% of failures). Extended evaluations at depths up to 50 turns confirm that the dissociation persists beyond the core benchmark, while Structured State Anchoring recovers up to 24.4 points on immutable constraints. The results show that reliability cannot be inferred from single-turn instruction following alone; evaluation must track whether remembered constraints remain operational as dialogue state grows. Code and artifacts are available at: https://github.com/xzzvsxd/StateTrack.