Trust Guided Decision Transformer

📄 arXiv: 2609.31586v1 📥 PDF

作者: Chainesh Gautam, Raghuram Bharadwaj Diddigi, Chandramouli Kamanchi, Pankaj Dayama, Sumanta Mukherjee, Kameshwaran Sampath

分类: cs.LG

发布日期: 2026-09-25

备注: To appear in Neurips 2026

💡 一句话要点

提出信任引导决策变换器以解决长时间回放中的上下文漂移问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 决策变换器 上下文选择 信任机制 机器人导航 自动驾驶 机器学习

📋 核心要点

  1. 现有的决策变换器在长时间回放中性能下降，主要由于上下文条件漂移超出训练分布，导致预测误差增加。
  2. 本文提出信任引导决策变换器（TGDT），通过评估上下文后缀的预测误差来选择可靠的上下文，从而提高决策质量。
  3. 实验结果显示，TGDT在D4RL导航和运动任务中显著降低了高误差运行的频率，并提升了整体回报表现。

📝 摘要（中文）

决策变换器在长时间回放中性能下降，原因是上下文条件漂移超出训练分布。本文展示了这种漂移通过模型自身的下一状态预测误差显现，该误差在回放过程中上升并保持高位，直接指示上下文何时变得不可靠。我们提出信任引导决策变换器（TGDT），在应用价值指导之前选择上下文。TGDT在每一步评估多个最近的上下文后缀，使用与保留的离线数据进行校准的滚动下一状态预测误差。它仅保留误差在校准阈值内的后缀，然后使用冻结的评论家在可信后缀中选择最高价值的动作。实验表明，TGDT在D4RL导航和运动任务中减少了持续高误差的运行，并改善了相较于传统决策变换器、基于重置的上下文控制和仅基于价值的上下文选择的回报。

🔬 方法详解

问题定义：本文旨在解决决策变换器在长时间回放中因上下文漂移导致的性能下降问题。现有方法在上下文不可靠时仍可能选择错误的动作，从而影响决策质量。

核心思路：TGDT的核心思路是通过评估上下文后缀的下一状态预测误差来选择可靠的上下文。这样设计的目的是确保在决策过程中使用的上下文是可信的，从而提高决策的准确性。

技术框架：TGDT的整体架构包括上下文选择模块和动作选择模块。首先，模型评估多个上下文后缀的预测误差，然后根据校准的阈值筛选出可信的后缀，最后使用冻结的评论家选择最佳动作。

关键创新：TGDT的主要创新在于其信任引导机制，通过对上下文后缀的误差进行评估，确保选择的上下文是可靠的。这与现有方法的价值导向选择顺序相反，避免了使用不可靠上下文生成的动作。

关键设计：在参数设置上，TGDT使用了滚动下一状态预测误差，并通过与保留的离线数据进行校准来确定阈值。此外，冻结的评论家用于选择动作，确保决策过程的稳定性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TGDT在D4RL导航和运动任务中显著降低了高误差运行的比例，并在回报上超过了传统决策变换器，提升幅度达到了XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用场景包括机器人导航、自动驾驶和其他需要长时间决策的智能系统。通过提高决策的可靠性，TGDT可以在复杂环境中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Decision Transformer performance degrades on long rollouts because the conditioning context drifts out of the training distribution. We show that this drift is visible through the model's own next state prediction error, which rises during rollout and stays elevated, giving a direct signal of when context has become unreliable. We introduce Trust Guided Decision Transformer (TGDT), which selects context before applying value guidance. At each step, TGDT evaluates several recent context suffixes using rolling next state prediction error, calibrated against held out offline data via split conformal prediction. It keeps only suffixes whose error stays within the calibrated threshold, then uses a frozen critic to choose the highest value action among the trusted suffixes. This reverses the order used by value only elastic selection, where the critic may choose an action generated from a context the model itself has flagged as unreliable. Experiments on D4RL navigation and locomotion tasks show that state prediction, critic guidance, and hard context reset each solve only part of the problem. TGDT reduces persistent high error runs and improves return over vanilla Decision Transformer, reset based context control, and value only context selection.