HarnessPAI: An Evolving Harness for Physical AI
作者: Xin Wang, Wenhao Wu, Menghao Zhang, Zhi Wang, Kun Shao, Jian Luan, Yang Li, Qing Li, Shangding Gu, Huichi Zhou, Shuqing Shi, Fei Ni, Shuo Lu, Weicheng Meng, Kang Li, Jin Wu, Kang Zhao, Shangmin Guo, Gen Li, Yongqiang Tang, Zhizhong Zhang, Yuan Xie, Heng Qu
分类: cs.RO, cs.AI
发布日期: 2026-09-24
备注: 45 pages, 23 figures, 15 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出HarnessPAI框架以解决物理AI中的行为模型脆弱性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理AI 行为模型 智能体 可执行框架 机器人技术 任务理解 反馈机制
📋 核心要点
- 现有物理AI方法主要关注行为模型，导致在复杂场景和长时间任务中表现脆弱，缺乏有效的感知和推理能力。
- HarnessPAI框架通过将代码视为可执行和可演化的接口，分离执行过程中的时间尺度，提升了机器人在多种任务中的表现。
- 实验结果表明，HarnessPAI在LIBERO-PRO和RoboCasa任务上分别提升了61.6和27.2分，且无需重新训练底层模型。
📝 摘要（中文）
物理AI旨在构建能够感知、理解和推理的具身智能体，但现有方法主要集中于将观察映射到低级控制的行为模型，导致其在场景扰动和长时间任务中表现脆弱。本文提出HarnessPAI，一个与模型和具身性无关的框架，利用可执行代码作为接口，组织底层行为原语。该框架在执行过程中分离了两个时间尺度，通过程序级的开放循环执行和基于反馈的闭环演化，显著提升了多种机器人平台的表现。实验结果显示，HarnessPAI在多个任务上超越了传统行为模型和代码作为策略的基线，展示了物理AI的前沿不仅依赖于更强的行为模型，还需要集成感知、任务理解和执行的可执行框架。
🔬 方法详解
问题定义：本文旨在解决物理AI中行为模型在面对场景扰动和长时间任务时的脆弱性，现有方法往往忽视了感知和推理能力的培养。
核心思路：HarnessPAI框架通过将代码作为可执行的接口，组织底层行为原语，并在执行过程中分离开放循环和闭环演化的时间尺度，以增强智能体的适应性和鲁棒性。
技术框架：该框架包括两个主要阶段：在每次执行中采用固定程序进行开放循环执行，跨执行则利用反馈信息闭环演化程序，提炼失败经验为可重用技能。
关键创新：HarnessPAI的核心创新在于其模型和具身性无关的设计，使得该框架能够在不重新训练底层模型的情况下，提升智能体的执行能力和任务理解。
关键设计：框架的设计包括固定程序的选择、反馈机制的实现，以及如何将失败转化为可重用的技能，具体的参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
在实验中，HarnessPAI在LIBERO-PRO任务上实现了61.6分的提升，在RoboCasa原子任务上提升了27.2分，且在收集的专家数据上对底层模型的微调成功率提升了38.8分，显示出其显著的性能优势。
🎯 应用场景
HarnessPAI框架具有广泛的应用潜力，适用于各种物理智能体的任务执行，如家庭机器人、工业自动化和服务机器人等。其集成的感知、推理和执行能力将推动智能体在复杂环境中的自主决策能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Physical AI aims to build embodied agents that perceive the world, understand and reason about it, and decide how to act. Yet the field has focused primarily on the last component: the action model that maps observations to low-level controls. The prevailing training recipe can erode the perceptual and reasoning capabilities needed for robust behavior, leaving even strong action models vulnerable to scene perturbations and long-horizon tasks. We introduce HarnessPAI, a model- and embodiment-agnostic Harness framework for Physical AI that treats code as the executable and evolvable interface that organizes the underlying action primitive. The framework separates two timescales: within a rollout, it executes open-loop at the program level, with a fixed program guiding and checking execution; across rollouts, it evolves closed-loop, using execution feedback to revise the program and distill failures into reusable skills. Across desktop robot arms, household robots, a robot vacuum, and a legged walking agent, HarnessPAI improves on both pure action models and code-as-policy baselines without retraining the underlying model: a 61.6-point gain over $π_{0.5}$ on LIBERO-PRO and a 27.2-point gain over WorldDreamer on RoboCasa atomic tasks. Once a program is selected, rollout execution requires no online high-level LLM deliberation. Beyond execution, the converged program is also a cheap and reliable expert-data collector, and fine-tuning $π_{0.5}$ on collected expert data lifts success rate on LIBERO-PRO by 38.8 points. Our results suggest that the frontier of Physical AI depends not only on stronger action models, but also on executable harnesses that integrate perception, task understanding and reasoning, and action execution into a unified, verifiable, and feedback-driven system. Website: https://darwin-agent.github.io/HarnessPAI