Physical Words: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation

📄 arXiv: 2610.26854v1 📥 PDF

作者: Jiaming Liu, Xinghao Zhu, Yiming Zhang, Shanghang Zhang, Yinxi Wang, Yichu Yang, Zhuoyang Liu, Dantong Niu, Soha Pouya, Juekun Li, Yan Chang

分类: cs.RO

发布日期: 2026-10-19

💡 一句话要点

提出PhysWord以解决机器人操作中的多模态推理问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 多模态推理 物理动态 原子动作词 推理模型 智能机器人 视觉与触觉 长时间操作

📋 核心要点

  1. 现有方法在语言推理与物理动态表达之间存在差距，导致机器人在复杂操作中的表现受限。
  2. 本文提出PhysWord，通过原子动作动词作为语义锚点，构建一个结构化的推理模型，增强机器人对物理动态的理解。
  3. PhysWord在多个真实世界任务中表现优异，尤其在双手抓取和灵巧手操作中，成功率显著高于现有方法。

📝 摘要（中文）

多模态推理为机器人基础模型提供了可靠的行动生成所需的预测上下文。然而，基于语言的推理虽然能够捕捉任务语义，却难以表达细粒度的物理动态，而潜在推理模型在组织这些动态为可重用推理原语方面则提供了有限的结构。为此，本文提出了PhysWord，一个基于物理词汇的推理前行动模型，利用原子动作动词作为物理动态的共享语义锚点。PhysWord通过预测即将到来的原子动作词，并将其上下文隐状态与相应未来观察的潜在目标直接对齐，构建了一个时间结构化的PhysWord空间，捕捉执行阶段之间的过渡，为行动生成提供了结构化的多模态上下文。实验结果表明，PhysWord在visuotactile UniVTAC上达到了90.3%的最新成功率，在基于视觉的LIBERO-Long上达到了99.6%的成功率，且在使用双手抓取器和灵巧手的真实任务中超越了竞争方法。

🔬 方法详解

问题定义：本文旨在解决机器人操作中多模态推理的不足，尤其是在语言推理与物理动态表达之间的差距。现有方法难以有效组织和表达复杂的物理动态，限制了机器人的操作能力。

核心思路：论文提出PhysWord模型，通过使用原子动作动词作为共享语义锚点，构建一个结构化的推理框架，使得机器人能够在执行任务前进行有效的推理，从而提高操作的准确性和可靠性。

技术框架：PhysWord模型的整体架构包括多个模块：首先是原子动作词的预测模块，其次是上下文隐状态与潜在目标的对齐模块，最后是时间结构化的PhysWord空间构建模块。这些模块协同工作，形成一个完整的推理流程。

关键创新：PhysWord的主要创新在于引入了物理词汇作为推理的基础，利用原子动作动词来组织和表达物理动态。这一方法与传统的语言推理模型相比，提供了更为细致和结构化的动态表达方式。

关键设计：在模型设计中，关键参数包括原子动作词的选择和上下文对齐策略。损失函数采用了结合预测准确性和动态一致性的复合损失，网络结构则采用了多层次的递归神经网络，以增强对时间序列数据的建模能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PhysWord在visuotactile UniVTAC任务中达到了90.3%的成功率，在视觉基础的LIBERO-Long任务中达到了99.6%的成功率，明显超越了现有竞争方法。这表明PhysWord在真实世界任务中的有效性和优越性，尤其是在使用双手抓取器和灵巧手的操作中。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、物体操作和人机交互等场景。PhysWord模型能够提升机器人在复杂环境中的操作能力，具有广泛的实际价值，未来可能推动智能机器人在工业、服务和家庭等多个领域的应用。通过增强机器人对物理动态的理解，能够实现更为灵活和智能的操作行为。

📄 摘要（原文）

Multimodal reasoning provides robotic foundation models with predictive context needed for reliable action generation. However, language-based reasoning captures task semantics but struggles to express fine-grained physical dynamics, while latent reasoning models future state evolution but offers limited structure for organizing these dynamics into reusable reasoning primitives. To bridge this gap, we introduce PhysWord, a reasoning-before-acting foundation model built on Physical Words, which use atomic action verbs as shared semantic anchors for continuous representations of physical dynamics. Specifically, PhysWord predicts upcoming atomic action words and directly aligns their contextual hidden states with latent targets derived from the corresponding future observations. Building on these primitives, we construct a temporally structured PhysWord space with visual and optional tactile variants of each action word. Autoregressively predicting Physical Words across future timesteps captures transitions between execution stages, providing structured multimodal context for action generation. PhysWord achieves state-of-the-art success rates of 90.3\% on visuotactile UniVTAC and 99.6\% on vision-based LIBERO-Long, and outperforms competing methods on real-world tasks using bimanual grippers and dexterous hands. Further evaluations demonstrate that our structured latent reasoning framework generalizes to unseen scenarios and enables long-horizon manipulation.