SAGE:State-Aware Guided End-to-End Policy for Multi-Stage Sequential Tasks via Hidden Markov Decision Process

📄 arXiv: 2509.19853v1 📥 PDF

作者: BinXu Wu, TengFei Zhang, Chen Yang, JiaHao Wen, HaoCheng Li, JingTian Ma, Zhen Chen, JingYuan Wang

分类: cs.RO

发布日期: 2025-09-24

💡 一句话要点

SAGE：基于隐马尔可夫决策过程的状态感知引导端到端多阶段序列任务策略

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多阶段序列任务 机器人操作 隐马尔可夫决策过程 状态感知 模仿学习 状态模糊 主动学习

📋 核心要点

  1. 多阶段序列机器人操作任务普遍存在，但视觉相似的观测可能对应不同的动作，导致状态模糊。
  2. SAGE将任务建模为隐马尔可夫决策过程，通过状态转移网络推断隐藏状态，并使用状态感知策略生成动作。
  3. 实验表明，SAGE在真实世界任务中显著优于基线方法，并且仅需少量人工标注即可保持高性能。

📝 摘要（中文）

本文提出了一种名为SAGE的状态感知引导模仿学习框架，用于解决机器人多阶段序列（MSS）操作任务中的状态模糊问题。SAGE将任务建模为隐马尔可夫决策过程（HMDP），显式地捕获潜在的任务阶段并消除歧义。该框架包含一个用于推断隐藏状态的状态转移网络和一个状态感知动作策略，该策略以观测和隐藏状态为条件生成动作，从而实现跨任务阶段的消歧。为了减少手动标注工作量，本文提出了一种结合主动学习和软标签插值的半自动标注流程。在多个具有状态模糊性的复杂MSS任务的真实世界实验中，SAGE在标准评估协议下实现了100%的任务成功率，显著优于基线方法。消融研究表明，仅对约13%的状态进行手动标注即可维持这种性能，表明其具有很强的有效性。

🔬 方法详解

问题定义：多阶段序列机器人操作任务中，由于视觉相似性，不同的任务阶段可能产生相似的观测，导致状态模糊，使得智能体难以确定当前所处的阶段以及应该采取的动作。现有的方法难以有效处理这种状态模糊性，导致任务成功率降低。

核心思路：SAGE的核心思路是将多阶段序列任务建模为隐马尔可夫决策过程（HMDP），显式地学习任务的潜在状态。通过推断隐藏状态，并将其作为动作策略的条件，从而消除状态模糊性，提高任务的成功率。

技术框架：SAGE框架主要包括三个模块：状态转移网络、状态感知动作策略和半自动标注流程。状态转移网络用于根据当前观测推断隐藏状态；状态感知动作策略以观测和隐藏状态为输入，生成相应的动作；半自动标注流程结合主动学习和软标签插值，用于减少手动标注的工作量。整体流程是，首先使用状态转移网络推断当前状态，然后将观测和推断的状态输入到状态感知动作策略中，生成动作。

关键创新：SAGE的关键创新在于将隐马尔可夫决策过程引入到多阶段序列机器人操作任务中，显式地建模任务的潜在状态。通过状态转移网络和状态感知动作策略，有效地解决了状态模糊问题。此外，半自动标注流程也减少了人工标注的负担。

关键设计：状态转移网络可以使用各种神经网络结构，例如循环神经网络（RNN）或Transformer。状态感知动作策略通常是一个条件策略网络，例如条件变分自编码器（CVAE）。损失函数包括状态转移网络的交叉熵损失和动作策略的模仿学习损失。半自动标注流程使用主动学习选择信息量最大的样本进行标注，并使用软标签插值生成剩余样本的标签。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAGE在多个真实世界的复杂多阶段序列任务中取得了显著的成果。在标准评估协议下，SAGE实现了100%的任务成功率，明显优于基线方法。消融实验表明，即使仅对约13%的状态进行手动标注，SAGE也能保持高性能，验证了其有效性和实用性。这些结果表明SAGE在解决状态模糊问题方面具有显著优势。

🎯 应用场景

SAGE框架可应用于各种需要处理状态模糊性的多阶段序列机器人操作任务，例如装配、拆卸、烹饪等。该研究有助于提高机器人在复杂环境中的自主操作能力，降低人工干预的需求，具有广泛的应用前景和实际价值。未来可进一步探索如何将SAGE与其他技术相结合，例如强化学习，以实现更强大的机器人智能。

📄 摘要（原文）

Multi-stage sequential (MSS) robotic manipulation tasks are prevalent and crucial in robotics. They often involve state ambiguity, where visually similar observations correspond to different actions. We present SAGE, a state-aware guided imitation learning framework that models tasks as a Hidden Markov Decision Process (HMDP) to explicitly capture latent task stages and resolve ambiguity. We instantiate the HMDP with a state transition network that infers hidden states, and a state-aware action policy that conditions on both observations and hidden states to produce actions, thereby enabling disambiguation across task stages. To reduce manual annotation effort, we propose a semi-automatic labeling pipeline combining active learning and soft label interpolation. In real-world experiments across multiple complex MSS tasks with state ambiguity, SAGE achieved 100% task success under the standard evaluation protocol, markedly surpassing the baselines. Ablation studies further show that such performance can be maintained with manual labeling for only about 13% of the states, indicating its strong effectiveness.