PhysClaw-0: A Symbiotic Agentic System for Robot Autonomy via Language Corrections

📄 arXiv: 2607.14047v1 📥 PDF

作者: Boyuan Wang, Zhenyuan Zhang, Zhiqin Yang, Peijun Gu, Shuya Wang, Xiaofeng Wang, Xianghui Ze, Yifan Chang, Guosheng Zhao, Jiangnan Shao, Guan Huang, Hengyu Liu, Yonggang Zhang, Wei Xue, Chunyuan Guan, Chenglin Pu, Yike Guo, Xingang Wang, Zheng Zhu

分类: cs.RO, cs.HC, eess.SY

发布日期: 2026-07-15

备注: WebPage: https://open-gigaai.github.io/PhysClaw

💡 一句话要点

提出PhysClaw-0以解决机器人自主性中的语言修正问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人自主性 语言修正 人机共生 数据收集 操作策略学习

📋 核心要点

  1. 现有方法在处理机器人操作失败时，需重复发出修正请求，导致监督成本随会话长度增加。
  2. PhysClaw-0通过保留和重用语言修正，构建了一个人机共生的自主系统，显著降低了人工干预需求。
  3. 实验结果显示，PhysClaw-0提高了单次尝试成功率，从12.5%提升至47.5%，并将人工工作时间减少至16%。

📝 摘要（中文）

自主数据收集决定了真实世界轨迹的数量和质量，进而影响操作策略学习。现有方法通过自我重置、视觉语言模型验证或语言引导修正来减少人工干预，但当相同失败再次出现时，必须重新发出修正请求，导致监督成本随着会话长度增加而增加。本文提出PhysClaw-0，一个人机共生的自主系统，能够在多个回合中保留和重用修正。该系统的收集循环能够自主收集、验证和重置，仅在明确的重试预算耗尽时暂停给远程操作员。使用大型语言模型解析器将自然语言表达映射到存储在修正记忆中的结构化调整，从而在相同条件下通常无需再次修正。实验表明，PhysClaw-0在真实机器人桌面清理测试中，成功率与遥控操作相当，同时将人工工作时间减少至16%。

🔬 方法详解

问题定义：本文旨在解决机器人自主操作中的语言修正效率低下问题。现有方法在相同失败模式重复出现时，需重新发出修正请求，导致人工干预成本增加。

核心思路：PhysClaw-0通过建立修正记忆，能够在不同回合中保留和重用语言修正，从而减少人工干预的频率和成本。

技术框架：该系统包括数据收集、验证和重置三个主要模块。收集模块负责获取操作数据，验证模块使用大型语言模型解析器进行语言修正，重置模块在必要时进行操作重置。

关键创新：最重要的创新在于引入了修正记忆机制，使得在相同条件下的失败模式无需再次修正，显著提高了系统的效率。

关键设计：系统设计中使用了大型语言模型进行自然语言解析，确保修正的结构化存储和高效检索，同时设定了明确的重试预算，以控制人工干预的时机。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PhysClaw-0在真实机器人桌面清理测试中，成功率与遥控操作相当，同时将人工工作时间减少至16%。语言修正提高了验证者与人类操作员的一致性，单次尝试成功率从12.5%提升至47.5%。

🎯 应用场景

PhysClaw-0的研究成果可广泛应用于机器人自主操作、智能家居、工业自动化等领域。通过减少人工干预，该系统能够提高操作效率，降低成本，未来有望推动更智能的机器人系统发展。

📄 摘要（原文）

Autonomous data collection governs the volume and quality of real-world trajectories for manipulation policy learning. Existing pipelines reduce human effort via self-resetting, VLM verification, or language-guided correction, yet episode-scoped fixes must be reissued whenever the same failure recurs, so oversight cost grows with session length rather than with the number of distinct problems. We present PhysClaw-0, a human-robot symbiotic agentic system in which corrections are retained and reused across rounds. The collection loop collects, verifies, and resets autonomously, pausing for a remote operator only when a phase exhausts an explicit retry budget. An LLM parser maps each natural-language utterance to a structured adjustment stored in Corrective Memory, so addressed failure modes typically need not be corrected again under the same conditions. On a real-robot desktop-clearing testbed, PhysClaw-0 matches teleoperation episode success while reducing human working time to 16%. Language corrections improve verifier-human agreement in all four evaluated settings and raise average single-attempt success from 12.5% to 47.5% (arm-selection: 20.0% to 50.0%). Policies fine-tuned on PhysClaw-0 data match teleoperation-trained policy success at a fraction of collection human cost.