Opt2VLA: Force-Aware Vision-Language-Action for Contact-Rich Humanoid Whole-Body Manipulation

📄 arXiv: 2609.23968v1 📥 PDF

作者: Fukang Liu, Yipu Chen, Jaehwi Jang, Danfei Xu, Zsolt Kira, Ye Zhao

分类: cs.RO

发布日期: 2026-09-21

💡 一句话要点

提出Opt2VLA以解决人形机器人接触丰富任务中的力控制问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人形机器人 视觉-语言-动作 力控制 强化学习 接触任务 多任务学习 轨迹优化

📋 核心要点

  1. 现有的人形机器人系统主要依赖几何运动目标，缺乏对接触任务中交互力的明确控制，导致在复杂任务中表现不佳。
  2. Opt2VLA框架通过在VLA到控制接口中引入显式力命令，利用多任务策略同时预测运动目标和接触力参考，从而实现更精确的力调节。
  3. 实验结果表明，Opt2VLA在三项接触丰富的任务中表现出色，显式力调节相比仅依赖运动控制显著提高了力的调节准确性和稳定性。

📝 摘要（中文）

人形机器人在日常环境中执行多样化任务时，需精确调节交互力。现有的视觉-语言-动作(VLA)模型在语义规划和视觉运动控制方面表现出色，但主要通过几何运动目标来表示动作，缺乏对交互力的明确推理和控制。本文提出的Opt2VLA框架在VLA到控制接口中引入了显式的力命令，利用多任务VLA策略同时预测几何运动目标和连续接触力参考。通过全身轨迹优化生成动态可行且接触一致的训练数据，评估结果表明，显式的力调节显著提高了力控制的准确性和一致性。

🔬 方法详解

问题定义：本文旨在解决人形机器人在接触丰富任务中对交互力的控制不足问题。现有方法主要依赖几何运动目标，缺乏对力的明确调节，导致在复杂环境中表现不稳定。

核心思路：Opt2VLA框架通过引入显式的力命令，在视觉-语言-动作(VLA)到控制的接口中实现力的调节。通过多任务学习，模型能够同时预测几何运动目标和接触力参考，从而提高力控制的精度。

技术框架：该框架包括多个模块：首先，通过视觉和语言输入生成运动目标和力参考；其次，利用强化学习(RL)的全身控制器跟踪这些目标；最后，通过全身轨迹优化生成训练数据，确保力的动态可行性和接触一致性。

关键创新：Opt2VLA的创新在于将显式力命令引入VLA框架，允许机器人在执行任务时根据上下文调节力。这一设计与传统的仅依赖运动目标的控制方法本质上不同，显著提升了在接触任务中的表现。

关键设计：在模型设计中，采用了多任务学习策略，损失函数中包含了运动目标和力参考的联合优化。此外，网络结构设计上考虑了任务特定的强化学习控制器，以提高力追踪的准确性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Opt2VLA在三项接触丰富的任务中，显式力调节相比传统的运动控制方法提高了力调节的准确性和一致性，力追踪的稳定性也得到了显著改善。具体而言，力调节的准确性提高了XX%，在模拟和人形硬件上均表现出色。

🎯 应用场景

Opt2VLA框架具有广泛的应用潜力，尤其在需要精确力调节的机器人操作任务中，如人形机器人在家庭服务、医疗辅助和工业自动化等领域。通过提高机器人在复杂环境中的交互能力，该研究为未来的智能机器人系统奠定了基础。

📄 摘要（原文）

Humanoid robots are expected to perform diverse human-level tasks in daily environments, many of which require precise regulation of interaction forces. While recent vision-language-action (VLA) models have shown promise for semantic planning and visuomotor control, existing humanoid systems primarily represent actions through geometric motion goals and rely on whole-body controllers focused on motion tracking, with limited explicit reasoning or control of interaction forces. This limitation is particularly relevant in contact-rich tasks, where geometrically similar motions may require different force regimes depending on the task context and where visual observations may become unreliable after contact. In this work, we present Opt2VLA, a force-aware VLA framework that introduces explicit force commands at the VLA-to-control interface for humanoid whole-body manipulation. A single multi-task VLA policy jointly predicts both geometric motion goals and continuous contact-force references, which are tracked by task-specific reinforcement learning (RL)-based whole-body controllers. To provide scalable and physically grounded supervision, we generate dynamically feasible and contact-consistent training data via whole-body trajectory optimization (TO) with explicit force references. We evaluate Opt2VLA on three contact-rich humanoid tasks and show that explicit force conditioning enables more accurate and consistent force regulation than motion-only control, while physically grounded torque supervision from TO further improves force tracking accuracy and stability. Closed-loop evaluations further demonstrate language-conditioned force modulation with Opt2VLA in simulation and on humanoid hardware.