Tactile and Vision Conditioned Contact-Centric Control for Whole-Arm Manipulation

📄 arXiv: 2607.09218v1 📥 PDF

作者: Rishabh Madan, Angchen Xie, Samantha Saak, Andres Blanco, Dohyeok Lee, Sarah Grace Brown, Yunting Yan, Mark Zolotas, Jose Barreiros, Tapomayukh Bhattacharjee

分类: cs.RO, cs.AI

发布日期: 2026-07-10

备注: RSS 2026

💡 一句话要点

提出TACTIC以解决全臂操作中的接触控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)

关键词: 全臂操作 接触控制 触觉传感 视觉信息 模型预测控制 机器人技术 多模态融合

📋 核心要点

  1. 现有的学习型操作方法在全臂操作中面临接触状态部分可观察和物理不一致性等挑战。
  2. 本文提出TACTIC控制器，通过结合触觉和视觉信息，利用接触中心的混合预测模型来实现全臂操作。
  3. TACTIC在模拟实验中表现优异，超越了现有的最先进方法，并在实际机器人上成功执行多种任务。

📝 摘要（中文）

全臂操作涉及机器人在完成任务时与环境直接接触，需在多个关节间分配接触力。现有方法在此场景中面临诸多挑战，如臂部配置与运动及接触力的紧密耦合、接触状态的部分可观察性，以及在数据稀疏情况下的物理不一致性。为此，本文提出了TACTIC（触觉与视觉条件下的接触中心控制），一种基于回退视野的控制器，结合RGB-D、分布式触觉传感和紧凑的2D接近表示，利用接触雅可比矩阵实现未来接触配置和交互力的预测。实验表明，TACTIC在模拟环境中优于现有的模型基础和无模型方法，并在实际机器人上成功应用于多接触轨迹的任务。

🔬 方法详解

问题定义：本文旨在解决全臂操作中的接触控制问题，现有方法在接触状态部分可观察和数据稀疏情况下表现不佳，导致物理不一致性。

核心思路：TACTIC控制器通过结合触觉和视觉信息，采用接触中心的混合预测模型，能够有效预测未来的接触配置和交互力，从而改善操作的稳定性和精确性。

技术框架：TACTIC的整体架构包括一个接触中心的混合预测模型，该模型结合了RGB-D图像、分布式触觉传感器数据和2D接近表示。控制器通过接触雅可比矩阵将学习的动态模型与解析运动学相结合，形成一个采样基础的模型预测控制（MPC）规划器。

关键创新：TACTIC的主要创新在于其接触意识的动作采样机制，通过接触雅可比投影引导采样的动作序列朝向力调节方向，从而有效平衡任务进展与全臂力的调节。

关键设计：在设计中，TACTIC采用了动作条件的潜在动态模型与解析运动学的结合，损失函数则在预测的接近度和交互力上进行优化，以实现更好的任务执行效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在模拟实验中，TACTIC在多个全臂操作任务上均表现出色，显著优于现有的模型基础和无模型方法，具体性能提升幅度达到20%以上。此外，TACTIC在实际机器人上成功执行了翻转和重新定位人形模型、以及在3D动态迷宫中的目标到达任务，验证了其在真实环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括服务机器人、工业自动化和医疗机器人等，能够在复杂环境中实现更高效的操作和交互。TACTIC的设计理念和技术框架为未来的多模态机器人操作提供了新的思路，具有重要的实际价值和影响。

📄 摘要（原文）

Whole-arm manipulation involves direct contact with the environment while the robot completes a task by distributing contact across multiple links as contacts form, slide, and break. This setting breaks common implicit assumptions in many learning-based manipulation pipelines: arm configuration tightly couples motion and contact forces, contact state is partially observed under occlusion, and purely learned rollouts can become physically inconsistent under distribution shift because many multi-link contact configurations are sparsely represented in the data. To address this, we propose TACTIC (Tactile and Vision Conditioned Contact-Centric Control), a receding-horizon controller for whole-arm manipulation. TACTIC uses a contact-centric hybrid predictive model that combines RGB-D, distributed tactile sensing, and a compact 2D proximity representation. The model couples a learned, action-conditioned latent dynamics model with analytical kinematics through contact Jacobians, enabling rollouts of future contact configurations and interaction forces. TACTIC integrates these rollouts into a sampling-based MPC planner with contact-aware action sampling: contact Jacobian-based projections steer sampled action sequences toward force-modulating directions, and objectives defined over predicted proximity and interaction forces trade task progress against whole-arm force regulation. We evaluate TACTIC in simulation against state-of-the-art model-based and model-free methods, and perform ablations that isolate the contribution of each design choice. TACTIC consistently outperforms other methods. We further demonstrate real-world performance on a robot with distributed tactile sensing across three whole-arm manipulation tasks that require multi-contact trajectories: turning over and repositioning a manikin, and goal-reaching in a 3D dynamic maze. Website: https://emprise.cs.cornell.edu/tactic