Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents
作者: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu
分类: cs.RO
发布日期: 2026-07-09
💡 一句话要点
提出Harness VLA以解决语言条件下操控的可靠性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言条件操控 视觉-语言-动作 机器人操作 多模态交互 鲁棒性提升 智能家居 任务执行学习
📋 核心要点
- 现有的VLA模型在特定任务上表现良好，但在实际应用中对扰动的鲁棒性不足，难以处理复杂的操控任务。
- Harness VLA框架通过将冻结的VLA与固定的分析原语结合，学习任务特定的执行轨迹，从而提升操控的可靠性和灵活性。
- 在多个复杂环境下的实验中，Harness VLA在LIBERO-Pro和RoboCasa365上分别提升了38.6和25.4个百分点，显示出显著的性能改进。
📝 摘要（中文）
语言条件下的操控需要精确的接触控制和对语言、场景及长时间跨度的稳健推理。现有的端到端视觉-语言-动作（VLA）模型在特定任务轨迹上表现良好，但在实际应用中常因语义重定向、目标重新绑定、空间布局变化及不稳定的局部接触而失败。本文提出的Harness VLA框架，通过将冻结的VLA作为可重试的接触丰富原语，并与固定的小型分析原语库组合，提升了模型的适应性。该框架在多个扰动环境下的实验中，显著提高了性能，展示了其在复杂操控任务中的有效性。
🔬 方法详解
问题定义：本文旨在解决语言条件下操控的可靠性问题，现有的VLA模型在面对实际应用中的扰动时表现不佳，难以进行复杂的操控任务。
核心思路：Harness VLA框架通过将冻结的VLA作为可重试的接触丰富原语，并与固定的小型分析原语库组合，学习任务特定的执行轨迹，以提升模型的适应性和灵活性。
技术框架：该框架包括三个主要模块：冻结的VLA模块、分析原语库和任务特定的执行学习模块。冻结的VLA负责局部接触控制，分析原语库提供基础的操控能力，而执行学习模块则从任务执行中学习成功与失败的模式。
关键创新：Harness VLA的核心创新在于将冻结的VLA与固定的分析原语结合，避免了对技能库的扩展，同时通过任务特定的执行轨迹学习提升了模型的鲁棒性。
关键设计：在设计中，模型通过分析任务执行的成功规则和失败模型来学习固定原语的操作范围，采用了特定的损失函数来优化接触控制的精度。
🖼️ 关键图片
📊 实验亮点
在多个复杂环境下的实验中，Harness VLA在LIBERO-Pro和RoboCasa365上分别提升了38.6和25.4个百分点，达到了58.4%的成功率，显示出显著的性能优势，超越了现有的最强基线。
🎯 应用场景
Harness VLA框架在复杂的操控任务中具有广泛的应用潜力，特别是在机器人操作、智能家居和人机交互等领域。其提升的鲁棒性和灵活性将推动多模态交互技术的发展，促进更智能的自动化系统的实现。
📄 摘要（原文）
Language-conditioned manipulation requires both precise contact-rich control and robust reasoning over language, scenes, and long horizons. End-to-end Vision-Language-Action (VLA) models provide strong local visuomotor skills, but they are trained on in-distribution task trajectories and often fail under deployment perturbations such as semantic retargeting, goal re-binding, spatial-layout shifts, and unstable local contacts. LLM coding agents provide complementary semantic and compositional reasoning, but purely analytic primitives struggle with irregular grasping, constrained placement, and articulated-object interaction. We present Harness VLA, a memory-augmented agentic framework that exposes a frozen VLA as a retryable contact-rich primitive and composes it with a small fixed library of analytic primitives for grounding, staging, transport, navigation, and release. Rather than expanding the skill library, the harness learns the operating range of these fixed primitives from task-specific execution traces, global success rules, and failure models. By lifting semantic re-grounding, non-contact execution, and VLA re-staging to the planner while reserving the frozen VLA for local contact-rich phases, Harness VLA extends pretrained VLAs beyond their original trajectory distribution without finetuning. Across perturbed tabletop, household kitchen, and clean-to-randomized bimanual manipulation, Harness VLA improves over the strongest relevant baselines by 38.6 and 25.4 percentage points on LIBERO-Pro and RoboCasa365, respectively, and reaches 58.4% on RoboTwin C2R.