CogWAM: Aligning Semantic Cognition with World Action Modeling via Event-Driven Interfaces
作者: Sen Wang, Liu Liu, Xinjiang Wang, Zequn Chen, Haoyi Jiang, Taojun Ding, Tingyang Xiao, Zhizhong Su, Jie Wang, Sanping Zhou
分类: cs.RO, cs.CV
发布日期: 2026-09-29
💡 一句话要点
提出CogWAM以解决机器人任务进展与行动预测不一致问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语义推理 机器人控制 任务执行 世界-行动模型 闭环控制 双臂操作 状态更新
📋 核心要点
- 现有机器人策略在语义推理与未来世界预测的结合上存在局限，导致任务进展与实际行动不一致。
- CogWAM通过持久的语义状态在任务推理与世界-行动学习之间建立明确的接口，确保任务上下文的持续性。
- 在无额外机器人动作预训练的情况下，CogWAM在多个基准测试中表现优异，显著提升了操作效率。
📝 摘要（中文）
随着机器人策略越来越多地融入语义推理和未来世界预测，如何将这些能力有效结合成为一大挑战。本文提出CogWAM，一个认知引导的世界-行动模型，通过持久的语义状态在任务推理与世界-行动学习之间建立明确的语义接口。CogWAM仅在观察到语义转变时更新状态，使任务级上下文能够在多个动作块之间持续存在。为将语义上下文与物理预测和控制相结合，CogWAM采用进度条件的WORLD和ACTION查询，选择性提取与任务相关的信息以进行未来世界预测和动作生成。实验结果表明，CogWAM在RoboDojo上取得了15.56 / 11.70 %的Score/SR，并在BiCoord上表现出色，实验证明其在实际双臂操作中显著减少了语义状态的再生次数。
🔬 方法详解
问题定义：本文旨在解决机器人在执行任务时，语义推理与实际行动之间的不一致性问题。现有方法在任务进展与行动生成的对齐上存在不足，导致机器人无法有效应对复杂的任务场景。
核心思路：CogWAM的核心思想是通过引入持久的语义状态，确保任务推理与世界-行动学习之间的紧密联系。该模型在观察到语义转变时更新状态，从而保持任务上下文的连续性。
技术框架：CogWAM的整体架构包括两个主要模块：语义状态模块和动作生成模块。语义状态模块负责存储已完成的任务事件和当前活动子任务，而动作生成模块则基于更新的语义状态生成相应的机器人动作。
关键创新：CogWAM的主要创新在于引入了进度条件的WORLD和ACTION查询机制，使得模型能够选择性地提取与任务相关的信息，从而提高未来世界预测和动作生成的准确性。这一设计与现有方法的本质区别在于其强调了语义上下文的持续性。
关键设计：在关键设计上，CogWAM采用了特定的损失函数来优化语义状态的更新过程，并通过共享的任务进展上下文来增强训练效果。此外，模型的网络结构经过精心设计，以支持高效的状态更新和动作生成。
🖼️ 关键图片
📊 实验亮点
CogWAM在RoboDojo基准测试中取得了15.56 / 11.70 %的Score/SR，表现优于现有技术。同时，在BiCoord上也达到了最先进的性能。此外，实验证明其在实际双臂操作中，语义状态的再生次数减少了16.4次，显示出显著的效率提升。
🎯 应用场景
CogWAM的研究成果在机器人操作、自动化任务执行等领域具有广泛的应用潜力。通过提高机器人在复杂任务中的语义理解和动作生成能力，该模型能够显著提升机器人在实际环境中的适应性和效率，推动智能机器人技术的发展。
📄 摘要（原文）
Robot policies increasingly incorporate semantic reasoning and future-world prediction, yet combining these capabilities does not guarantee that local predictions and actions remain aligned with task progress. We introduce CogWAM, a cognition-guided world-action model that establishes an explicit semantic interface between task reasoning and world-action learning through a persistent Semantic State, which stores completed task events and the active subtask. CogWAM updates this state only when observations indicate semantic transitions, allowing task-level context to persist across multiple action chunks. To bridge semantic context with physical prediction and control, CogWAM employs progress-conditioned WORLD and ACTION queries that selectively extract task-relevant information for future-world prediction and action generation. During training, the Semantic State provides shared task-progress context for both branches, while inference removes the future-prediction branch and directly generates actions from observations and the maintained state. We further introduce semantic training strategies to improve transition learning and closed-loop conditioning. Without additional robot-action pretraining, CogWAM achieves 15.56 / 11.70 % Score/SR on RoboDojo and state-of-the-art performance on BiCoord, while real-world experiments demonstrate closed-loop dual-arm manipulation with 16.4 fewer Semantic State regenerations than step-wise updating.