Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams

📄 arXiv: 2609.28429v1 📥 PDF

作者: Ding Yi, Peiwen Sun, Chenchu Rong, Jianan Wang, Xili Dai, Xiangyu Yue, Xi Lin

分类: cs.RO

发布日期: 2026-09-23

备注: 11 pages, 3 figures. Accepted to the 10th Conference on Robot Learning (CoRL 2026)

💡 一句话要点

提出ARMS以解决永续机器人在多模态流中的决策问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 永续机器人 多模态流 实时感知 双臂并发 自历史记录 ARMS Dataset 开放式环境 决策优化

📋 核心要点

  1. 现有的机器人动作模型通常假设固定指令和单步推理，无法处理开放式环境中的动态变化和长时记忆。
  2. ARMS通过一个预训练的骨干网络和三个轻量模块，实时整合感知信息、身体状态和历史行为，支持双臂并发操作。
  3. 在ARMS Dataset的支持下，ARMS在综合任务上达到了45%的准确率，相较于最强基线提升了17%，验证了其有效性。

📝 摘要（中文）

永续机器人面临着不断变化的指令和场景，其过去的行为会影响当前的决策。现有的动作模型通常假设固定指令和单步推理，无法适应这种开放式环境。本文提出ARMS（Always-on Robot in Multi-modal Streams），通过一个简单的流式策略，结合实时感知、身体状态和过去行为的轻量模块，来增强决策过程。ARMS Dataset用于无额外标注的监督学习，实验结果显示ARMS在综合任务上达到了45%的准确率，相较于最强基线提升了17%。

🔬 方法详解

问题定义：本文旨在解决永续机器人在动态环境中如何有效决策的问题。现有方法通常依赖固定指令和单步推理，无法应对指令的变化和场景的动态性。

核心思路：ARMS的核心思路是通过一个简单的流式策略，结合实时感知、身体状态和过去行为的模块，来增强决策过程。这种设计使得机器人能够在不间断的流中进行观察、回忆和行动。

技术框架：ARMS的整体架构包括一个预训练的骨干网络和三个轻量模块，分别处理实时感知、身体状态和历史行为。模块之间的更新是异步的，确保观察和回忆不会阻塞行动。

关键创新：ARMS的主要创新在于将学习的上下文提供者与因果自历史记录结合，记录每个手臂的操作及其时间。这种设计使得机器人能够在复杂环境中进行有效的决策。

关键设计：ARMS采用了异步更新机制，确保实时感知和历史回忆的流畅性。损失函数和网络结构经过精心设计，以支持多模态信息的融合和双臂的并发操作。具体参数设置和模块设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ARMS在综合任务上达到了45%的准确率，相比于最强基线的28%提升了17%。通过消融实验，验证了记忆模块、身体状态头和异步并发的必要性，进一步证明了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和智能家居等场景。ARMS的设计理念可以帮助机器人在复杂和动态的环境中进行更有效的决策，提升其自主性和适应能力，未来可能推动机器人技术的广泛应用。

📄 摘要（原文）

An always-on robot faces an endless stream that never resets: instructions arrive and lapse, the scene changes, and its own past actions reshape what it must reason about. Today's action models are built for the opposite: a fixed instruction, no mid-task intervention, single-step reasoning. In an open-ended world a robot must watch a live stream for far-future cues, recall its own far-past actions, and act on them under dual-arm concurrency. We present ARMS (Always-on Robot in Multi-modal Streams), a deliberately simple streaming policy: a single pretrained $π$0.5 backbone augmented by three lightweight modules that turn live perception, embodied states, and the robot's own past actions into context the backbone reads before it acts. The modules update this context asynchronously, so watching and recalling never block acting and the two arms act at once. Rather than inventing new mechanisms, ARMS integrates these learned context providers with an agent-causal self-history that logs which arm did what, and when. To supervise them without extra annotation, we build ARMS Dataset, whose staged construction script itself labels every module from real dual-arm teleoperation. Trained on it, ARMS reaches 45% on the combined task against 28% for the strongest of our four main baselines, and ablations confirm the memory module, the embodied-state head, and asynchronous concurrency are each necessary.