EventSync: Event-Driven Memory Updates for History-Dependent Manipulation
作者: Jingjiao Zhao, Dong Jing, Mingyu Cao, Ruochuan Shi, Xiansheng Chen, Pengwei Wang, Zhiwu Lu
分类: cs.RO
发布日期: 2026-10-20
💡 一句话要点
提出EventSync以解决历史依赖机器人操控中的记忆更新问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 历史依赖操控 事件驱动更新 层次框架 视觉-语言模型 机器人智能 任务推理 执行监控
📋 核心要点
- 现有方法在历史依赖的机器人操控中面临任务上下文和交互历史不足的问题，导致记忆更新不准确。
- 本文提出EventSync框架，通过事件驱动的记忆更新机制协调任务推理与动作执行，提高了子目标完成的准确性。
- 在RoboMME基准测试中，EventSync实现了64.5%的成功率，较最佳基线提升20个百分点，验证了其有效性。
📝 摘要（中文）
历史依赖的机器人操控需要任务上下文和交互历史，仅凭当前观察无法确定下一步动作。现有的层次框架使用任务记忆进行高层次子目标推理和低层次策略执行，但记忆更新需要准确的完成评估。本文提出EventSync，一个通过事件驱动的记忆更新协调任务推理和动作执行的层次框架。该框架利用视觉-语言模型生成子目标，并通过轻量级事件监控器结合视觉观察与末端执行器轨迹判断子目标是否完成。实验结果表明，EventSync在RoboMME上实现了64.5%的整体成功率，超越基线20个百分点，验证了其在真实机器人操控中的有效性。
🔬 方法详解
问题定义：本文旨在解决历史依赖机器人操控中任务上下文和交互历史不足导致的记忆更新不准确的问题。现有方法在完成评估上存在不足，类似观察可能对应不同执行阶段，过早记录完成会误导后续推理。
核心思路：EventSync框架通过事件驱动的记忆更新机制，结合视觉-语言模型生成子目标，并通过事件监控器判断子目标完成情况，从而提高任务推理的准确性。
技术框架：该框架主要包含三个模块：视觉-语言模型用于生成子目标，视觉-语言-动作模型用于执行子目标，轻量级事件监控器用于判断子目标是否完成。整体流程是先生成子目标，再执行并监控完成情况。
关键创新：EventSync的核心创新在于其事件驱动的记忆更新机制，通过结合视觉观察与执行轨迹，确保只有在获得完成证据后才记录子目标，从而建立可靠的完成子目标历史。
关键设计：框架中使用的视觉-语言模型和事件监控器设计为轻量级，以降低计算负担，确保实时性。损失函数和网络结构经过优化，以提高子目标生成和执行的准确性。实验中还考虑了不同任务的记忆需求，验证了框架的适应性。
🖼️ 关键图片
📊 实验亮点
在RoboMME基准测试中，EventSync实现了64.5%的整体成功率，超越最佳基线20个百分点，显示出其在历史依赖任务中的显著优势。实验结果表明，该框架有效构建了可靠的完成子目标历史，提升了机器人操控的准确性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、工业自动化和服务机器人等。通过提高机器人在复杂环境中的操控能力，EventSync能够有效提升机器人在执行历史依赖任务时的智能化水平，具有重要的实际价值和未来影响。
📄 摘要（原文）
History-dependent robotic manipulation requires task context and interaction history, as the current observation alone is insufficient to determine the next action. Hierarchical frameworks use task memory for high-level subgoal reasoning and low-level policies for execution. However, memory updates require accurate completion assessment: similar observations may correspond to different execution phases, and prematurely recording completion can mislead subsequent subgoal reasoning. We present EventSync, a hierarchical framework that coordinates task reasoning and action execution through event-driven memory updates. A vision-language model generates subgoals from task plans and interaction history, while a vision-language-action model executes them. A lightweight Event Monitor combines visual observations with end-effector trajectories to determine whether the current subgoal is complete. The framework records the current subgoal in its completed-subgoal history and triggers subsequent reasoning only after obtaining completion evidence. With visual history in the executor, EventSync achieves 64.5% overall success on RoboMME, exceeding the best baseline reported in the benchmark by 20.0 percentage points. Further analysis shows that this update mechanism helps build a reliable completed-subgoal history. Experiments on four real-robot tasks with different memory requirements validate the framework's effectiveness in real-world robotic manipulation.