DualManip: Agentic Dynamic Manipulation via Dual-Path Semantic Reasoning and Geometric Adaptation
作者: Chengxi Li, Yan Di, Yingyue Li, Ruida Zhang, Mingyang Li, Xiangyang Ji
分类: cs.RO
发布日期: 2026-09-25
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出DualManip以解决动态场景下机器人操作的响应性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视觉-语言模型 动态场景 机器人操作 几何适应 语义推理 双路径框架 实时更新 操作鲁棒性
📋 核心要点
- 现有视觉-语言模型在动态场景中的推理延迟较高，影响机器人操作的实时性和响应能力。
- DualManip通过双路径框架将语义推理与几何适应分开，提升了在动态环境中的操作效率。
- 实验结果显示，DualManip在多种操作任务中表现出更高的鲁棒性和响应速度，尤其是在连续变化的场景中。
📝 摘要（中文）
视觉-语言模型（VLMs）使得机器人操作能够进行开放词汇推理，但其高推理延迟限制了在动态场景中的响应能力。许多场景变化会改变物体几何形状，但不会影响任务意图。本文提出DualManip，一个双路径框架，将不频繁的语义推理与响应式几何适应解耦。语义路径分解任务并确定任务相关的交互，随后通过约束求解模块进行姿态优化。在执行过程中，几何路径通过形状自适应网络从实时RGB-D观测中持续更新模板与观测的对应关系。这些对应关系在物体运动和非刚性变形下转移任务相关的抓取接触点，实现在线抓取重建。信息交互模块连接两个路径，通过从语义基础初始化任务相关抓取，验证几何更新，并在更新失败时触发语义重规划。实验证明DualManip在六个操作任务中表现出卓越的操作鲁棒性，尤其是在连续场景变化下，几何适应速度约为代理验证和语义重规划的46倍。
🔬 方法详解
问题定义：本文旨在解决在动态场景中机器人操作的响应性问题，现有方法在处理物体几何变化时存在推理延迟，导致操作效率低下。
核心思路：DualManip通过双路径框架将不频繁的语义推理与实时的几何适应解耦，使得机器人能够在动态环境中快速适应变化。
技术框架：该框架包括两个主要路径：语义路径用于任务分解和交互确定，几何路径用于实时更新模板与观测的对应关系，信息交互模块则连接两个路径，确保任务的连续性和准确性。
关键创新：DualManip的核心创新在于其双路径设计，使得语义推理与几何适应能够独立进行，从而显著提高了在动态场景下的操作速度和鲁棒性。
关键设计：在技术细节上，采用了形状自适应网络来处理实时RGB-D观测，并设计了约束求解模块用于姿态优化，确保抓取接触点的准确性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DualManip在六个操作任务中表现出卓越的鲁棒性，尤其是在连续场景变化下，其几何适应速度约为传统方法的46倍。这一显著提升使得机器人能够更快速地适应动态环境，确保操作的准确性和效率。
🎯 应用场景
DualManip的研究成果在机器人操作、自动化装配、智能制造等领域具有广泛的应用潜力。通过提高机器人在动态环境中的适应能力，该技术能够显著提升生产效率和操作精度，推动智能机器人技术的发展。未来，随着技术的进一步成熟，DualManip可能在更复杂的操作任务中发挥重要作用。
📄 摘要（原文）
Vision-language models (VLMs) enable open-vocabulary reasoning for robot manipulation, but their high inference latency limits responsiveness in dynamic scenes. Many scene changes, however, alter object geometry without invalidating task intent. We present DualManip, a dual-path framework that decouples infrequent semantic reasoning from responsive geometric adaptation. The semantic path decomposes the task and grounds task-relevant interactions, followed by a constraint-solving module for pose optimization. During execution, the geometric path continuously updates template-to-observation correspondences from live RGB-D observations via a shape-adaptive network. These correspondences transfer task-relevant grasp contacts across observations, enabling online grasp reconstruction under object motion and non-rigid deformation. The Information Interaction Module bridges the two paths by initializing task-relevant grasps from semantic grounding, validating geometric updates, and triggering semantic replanning upon update failures. Real-world evaluation spans six manipulation tasks covering non-rigid deformation, articulated reconfiguration, rigid motion, and high-precision assembly across three settings: static, single-change, and continuous dynamic. DualManip demonstrates superior manipulation robustness, particularly under continuous scene changes, while achieving geometric adaptation approximately 46$\times$ faster than agentic verification and semantic replanning. Our project page: https://lichengxi1.github.io/Dualmanip.