StateTree: Enhancing Long-Term Dialogue Reasoning via Reinforcement Learning

📄 arXiv: 2609.38809v1 📥 PDF

作者: Naen Xu, Wanqing Cui, Yibo Hu, Shixin Hong, Hengyu An, Meiguang Jin, Junfeng Ma, Tianyu Du

分类: cs.CL, cs.AI

发布日期: 2026-09-30

备注: NeurIPS 2026

💡 一句话要点

提出StateTree以解决长时间对话推理中的数据稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间对话推理 强化学习 树状结构 多会话检索 时间推理 知识更新 组合推理

📋 核心要点

  1. 长时间对话推理面临证据分散和偏好变化等挑战，现有方法在数据稀缺和计算成本高的情况下表现不佳。
  2. StateTree通过构建树状路径追踪任务，要求模型在多会话中检索和比较记录，从而增强对话推理能力。
  3. StateTree在LongMemEval上表现优异，StateTree-14B模型的准确率达到59.00%，显著超越其他基线方法。

📝 摘要（中文）

大型语言模型作为个性化助手需要处理长时间的互动历史。然而，在长时间对话推理中，相关证据分散在多个会话中，偏好可能随时间变化，标准的长上下文训练无法有效应对这些挑战。本文提出StateTree，一种数据驱动的强化学习方法，通过构建具有可验证真相的辅助任务来解决数据稀缺问题。StateTree通过树状路径追踪任务增强多会话对话，要求模型在会话间检索记录并比较时间戳以解决分支，从而恢复隐藏的目标问题。经过训练，StateTree在128K上下文中表现出色，超越了现有的基线方法。

🔬 方法详解

问题定义：本文旨在解决长时间对话推理中证据分散和偏好变化的问题。现有方法在数据稀缺和计算成本高的情况下，无法有效处理这些挑战。

核心思路：StateTree通过构建一个树状路径追踪任务，要求模型在多个会话中检索关键记录并比较时间戳，以解决分支问题，从而恢复隐藏的目标问题。这样的设计使得模型能够有效利用稀缺数据进行推理。

技术框架：StateTree的整体架构包括一个树状结构，其中关键值记录在会话间嵌入形成二叉树。模型需要从根节点遍历到叶节点，解决分支并恢复目标问题。训练过程中采用了逐步增强的强化学习策略，逐渐增加树的深度。

关键创新：StateTree的主要创新在于引入了树状路径追踪任务和逐步增强的强化学习训练策略，使得模型能够在长上下文中进行有效的推理和检索，显著提升了模型的推理能力。

关键设计：在训练过程中，StateTree使用了10K-token的上下文进行训练，并能够在不增加全长强化学习成本的情况下，推广到128K-token的上下文。模型的设计还包括边缘携带逐步推理片段的组合变体，增强了模型的推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

StateTree在LongMemEval上表现出色，StateTree-14B模型的准确率达到59.00%，相比于QwenLong-L1-32B的45.20%提升了13.80%。同时，StateTree在处理128K-token的上下文时，展现出优越的跨会话检索和时间推理能力，超越了现有的SFT和基于RL的基线方法。

🎯 应用场景

StateTree的研究成果在个性化助手、智能客服和长时间对话系统等领域具有广泛的应用潜力。通过提升对话推理能力，能够更好地理解用户需求，提供更精准的服务，进而提升用户体验。未来，该方法还可以扩展到其他需要长时间记忆和推理的智能系统中。

📄 摘要（原文）

Large language models deployed as personalized assistants must reason over long, evolving interaction histories. However, in long-term dialogue reasoning, relevant evidence is scattered across sessions, preferences may be revised over time, and standard long-context training fails to address these challenges under data scarcity and prohibitive computational costs. We propose StateTree, a data-driven RL method that constructs a challenging auxiliary task from scarce dialogues with verifiable ground truth. StateTree augments multi-session dialogues with a tree-structured path-tracing task: key-value records are embedded across sessions to form a binary tree. Solving the task requires the model to traverse from root to leaf by retrieving records across sessions and comparing timestamps to resolve branches, then recover the hidden target question among distractor leaves. We apply curriculum RL training progressively increasing tree depth and introduce a compositional variant whose edges carry step-level reasoning fragments, training the model to compose partial cues into coherent queries. Trained on 10K-token contexts, StateTree generalizes to 128K tokens without full-length RL costs and exhibits capabilities including cross-session retrieval, temporal reasoning, knowledge update, and compositional multi-hop reasoning. StateTree outperforms both SFT and RL-based baselines while preserving short-context general reasoning. StateTree-7B achieves gains up to +23.60% on LongMemEval (128k), and StateTree-14B reaches 59.00% accuracy on LongMemEval, surpassing QwenLong-L1-32B (45.20%).