LAW: Unifying Language, Action, and World Modeling for Agentic Physical Intelligence
作者: Jiajun Cao, Kai Tang, Bohua Zhang, Zezhong Qian, Ying Li, Xiaozhu Ju, Xiaobao Wei, Jiaming Liu, Yang Ding, Sixiang Chen, Yiding Sun, Siyuan Qian, Tinghao Wang, Jixian Wu, Yichen Guo, Yi Zhang, Shilong Zou, Yong Dai, Jian Tang, Shanghang Zhang
分类: cs.RO
发布日期: 2026-10-16
💡 一句话要点
提出LAW框架以统一语言、动作与世界建模，提升物理智能表现
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间操作 语言推理 动作生成 世界建模 混合专家模型 双流视觉记忆 子任务规划 机器人智能
📋 核心要点
- 现有的世界-动作模型在长时间操作中面临语言推理不足的问题，导致子任务规划和执行评估的困难。
- 论文提出的LAW框架通过语义子任务进度，整合语言推理、动作生成和世界建模，提升了任务执行的有效性。
- 实验结果显示，LAW在RoboTwin任务上平均成功率达到94.21%，并通过OpenWAM-$alpha$进一步提升至95.56%，在长时间真实机器人任务中也表现优异。
📝 摘要（中文）
世界-动作模型联合预测动作和未来世界状态，但长时间操作还需要语言推理来规划子任务目标、评估执行进度并指导动作选择。我们提出了LAW，一个闭环的VLM-WAM框架，通过语义子任务进度统一语言推理、动作生成和世界建模。在LAW代理中，混合专家视觉-语言模型规划剩余子任务，评估并融合世界-动作模型提出的动作值，并异步评估执行状态以支持持续执行和子任务转换。LAW在50个RoboTwin任务上实现了94.21%的平均成功率，替换WAM主干为OpenWAM-$alpha$后，成功率提升至95.56%，在RoboTwin上建立了新的开源状态。尽管只有20亿参数，我们的VLM也超越了使用Embodied-R1.5和GPT-5.5 High的变体。在三个长时间真实机器人任务中，LAW实现了65%的平均成功率，而$pi_{0.5}$和Fast-WAM分别为28.33%和25%。
🔬 方法详解
问题定义：本论文旨在解决长时间操作中，现有世界-动作模型缺乏有效语言推理的问题，导致子任务目标规划和执行进度评估的不足。
核心思路：LAW框架通过语义子任务进度，结合语言推理与动作生成，形成闭环控制，确保任务执行的连贯性和有效性。
技术框架：LAW的整体架构包括混合专家视觉-语言模型和世界-动作模型，前者负责子任务规划和动作评估，后者则进行视频-动作建模，二者通过双流层次视觉记忆保持时间上下文。
关键创新：最重要的技术创新在于Mixture-of-Transformer Experts的引入，能够有效整合特定模态和共享计算，提升视频与动作的联合建模能力。
关键设计：关键设计包括子任务局部价值学习，确保动作评估与语义目标对齐，同时保留来自失败轨迹成功前缀的监督信息，优化模型的学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LAW在50个RoboTwin任务上实现了94.21%的平均成功率，使用OpenWAM-$alpha$后成功率提升至95.56%。在长时间真实机器人任务中，LAW的平均成功率达到65%，显著优于其他基线方法，如$pi_{0.5}$和Fast-WAM。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、智能家居和自动化制造等场景。通过提升机器人在复杂环境中的操作能力，LAW框架能够为实际应用提供更高的智能化水平，推动物理智能的发展和普及。
📄 摘要（原文）
World-action models jointly predict actions and future world states, but long-horizon manipulation further requires language reasoning to plan subtask objectives, assess execution progress, and guide action selection. We present LAW, a closed-loop VLM--WAM framework that unifies language reasoning, action generation, and world modeling through semantic subtask progress. Within the LAW agent, a hybrid-expert vision-language model plans the remaining subtasks, estimates the values of and fuses actions proposed by a world-action model, and asynchronously assesses execution status to support continued execution and subtask transitions. Within the world-action model, Mixture-of-Transformer Experts integrates modality-specific and shared computation for joint video--action modeling. Dual-stream hierarchical visual memory maintains temporal context for both models, while subtask-local value learning aligns action evaluation with semantic objectives and preserves supervision from successful prefixes of failed trajectories. LAW achieves 94.21% average success across 50 RoboTwin tasks. Replacing the WAM backbone with OpenWAM-$alpha$ further raises the average success rate to 95.56%, establishing a new open-source state of the art on RoboTwin. Despite having only 2B parameters, our VLM also outperforms variants using Embodied-R1.5 and GPT-5.5 High. On three long-horizon real-robot tasks, LAW achieves 65% average success, compared with 28.33% for $pi_{0.5}$ and 25% for Fast-WAM.