Modality-Autoregressive World-Action Models
作者: Adam Hung, Bardienus P. Duisterhof, Deva Ramanan, Jeffrey Ichnowski
分类: cs.RO
发布日期: 2026-09-15
备注: Project page: https://adamhung60.github.io/ModAR/
💡 一句话要点
提出ModAR以解决多模态世界动作模型的融合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 世界动作模型 多模态融合 自回归去噪 深度学习 机器人控制
📋 核心要点
- 现有的世界动作模型主要依赖RGB图像进行未来预测，未能有效利用其他视觉模态的优势。
- ModAR通过自回归去噪多个未来模态，允许每个预测基于之前生成的模态进行条件化，从而提升预测精度。
- 实验结果显示，ModAR在多个真实双手任务中超越基线，且在训练效率上显著提高，使用约20倍更少的训练FLOPs。
📝 摘要（中文）
世界动作模型（WAMs）联合建模未来观察和动作，通常预测未来的RGB图像。其他视觉模态如深度图、预训练视觉特征和点轨迹能够更有效地捕捉几何、语义和运动特征。然而，如何在WAMs中最佳地结合这些模态仍然是一个未解的问题。我们提出ModAR，这是第一个在预测动作之前自回归去噪多个未来模态的WAM。这使得每个预测可以基于先前生成的模态进行条件化。我们从头开始训练，系统研究训练数据混合、预测模态和WAM公式如何影响性能。在评估中，WAMs在预测点轨迹、DINO特征和深度图时受益，而额外预测未来RGB并未提供一致的好处。我们还发现ModAR的顺序生成在所有评估数据规模中优于现有WAM公式，具有最高的平均成功率。
🔬 方法详解
问题定义：本论文旨在解决如何在世界动作模型中有效融合多种视觉模态的问题。现有方法主要依赖RGB图像，未能充分利用深度图、点轨迹等模态的优势，导致预测性能受限。
核心思路：论文提出ModAR，通过自回归的方式去噪多个未来模态，允许每个预测基于之前生成的模态进行条件化。这种设计旨在提高模型对不同模态信息的利用效率，从而提升整体预测性能。
技术框架：ModAR的整体架构包括多个阶段：首先，模型接收不同模态的输入；然后，利用自回归机制逐步生成未来模态；最后，基于生成的模态预测动作。主要模块包括模态输入处理、去噪生成和动作预测。
关键创新：ModAR的最重要创新在于其自回归去噪机制，允许模型在生成每个模态时参考之前的生成结果。这一机制与传统WAMs的直接预测方式有本质区别，显著提升了模型的预测准确性。
关键设计：在模型设计中，采用了特定的损失函数以平衡不同模态的贡献，并优化了网络结构以适应多模态输入。此外，训练过程中使用了多样化的数据混合策略，以增强模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ModAR在所有评估数据规模中均表现出最高的平均成功率，达到了75%，相比于基线模型Flex-$π$的72%有显著提升。同时，ModAR在训练效率上表现优异，使用约20倍更少的训练FLOPs，显示出其在实际应用中的潜力。
🎯 应用场景
该研究的潜在应用场景包括机器人控制、自动驾驶、虚拟现实等领域，能够通过更准确的未来预测提升系统的智能化水平。未来，ModAR可能在多模态学习和人机交互中发挥重要作用，推动相关技术的发展与应用。
📄 摘要（原文）
World-action models (WAMs) jointly model future observations and actions, typically predicting the future as RGB images. Other visual modalities such as depth, pretrained visual features, and point tracks can more efficiently capture geometric, semantic, and motion features. However, how best to combine these modalities within WAMs remains an open question. We introduce ModAR, the first WAM to autoregressively denoise multiple future modalities before predicting actions. This allows each prediction to condition on previously generated modalities. We train from scratch to systematically study how training-data mixtures, predicted modalities, and WAM formulations affect performance. In our evaluations, WAMs benefit from predicting point tracks, DINO features, and depth maps, while additionally predicting future RGB does not provide a consistent benefit. We also find that ModAR's sequential generation outperforms existing WAM formulations, with the highest average success rate at all evaluated data scales. We also fine-tune the video-model-initialized WAM Flex-$π$ on the same data; ModAR achieves a slightly higher observed average success rate (75% vs. 72%) while using approximately $20\times$ fewer training FLOPs and no pretraining. On three real-world bimanual tasks, ModAR outperforms baselines and improves with human videos.