Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model

📄 arXiv: 2609.13053v1 📥 PDF

作者: Hoeun Lee, Jaeik Kim, Jusang Oh, Jinhyeok Kim, Geon Choi, Hyeonggeun Kim, Jaeyoung Do

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-09-11

备注: 36 pages, 13 figures, 15 tables

💡 一句话要点

提出Dynin-Robotics以解决机器人多模态决策问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态决策 动态预测 机器人控制 轨迹建模 视觉语言融合 动作生成 智能机器人 深度学习

📋 核心要点

  1. 现有方法在多模态决策中缺乏有效的动态预测能力，导致机器人在复杂环境中的适应性不足。
  2. 论文提出Dynin-Robotics，通过共享轨迹模型将视觉、语言和动作信息整合，提升机器人决策的准确性和灵活性。
  3. 实验结果表明，Dynin-Robotics在多个任务中表现出色，特别是在Franka Research 3机器人上实现了78.4%的平均成功率。

📝 摘要（中文）

视觉目标和动态预测能够为语言条件下的机器人策略提供目标结果和与动作相关的场景变化表示。Dynin-Robotics通过共享轨迹模型将这些预测引入动作生成与选择。该模型在Dynin-Omni上实现，采用了多模态掩蔽扩散骨干，将语言、视觉观察、目标和动作表示为离散标记。通过调整条件和目标范围，同一模型学习动作预测、动作条件下的下一观察预测、终端目标状态预测和轨迹到指令重构。模型在约133万条轨迹上进行预训练，并在下游领域进行适应。在VLABench任务中，机器人预训练提高了适应性，结合目标引导和联合动作-下一状态去噪进一步提升了成功率。

🔬 方法详解

问题定义：本论文旨在解决机器人在多模态环境中进行决策时，缺乏有效的动态预测和目标引导的问题。现有方法往往无法充分利用视觉和语言信息，导致机器人在复杂场景中的表现不佳。

核心思路：论文提出的Dynin-Robotics模型通过共享轨迹模型，将视觉、语言和动作信息整合为离散标记，允许模型在不同任务中灵活调整条件和目标范围，从而提高预测的准确性和适应性。

技术框架：整体架构包括多个模块：首先是多模态掩蔽扩散骨干Dynin-Omni，其次是轨迹模型用于动作生成和选择，最后是通过目标预测和动作候选评估实现的测试时扩展。

关键创新：最重要的创新在于将多模态信息整合为共享轨迹模型，使得模型能够同时进行动作预测和状态预测，显著提升了机器人在复杂环境中的决策能力。

关键设计：模型在预训练阶段使用了约133万条轨迹，采用了特定的损失函数来优化目标预测和动作选择的准确性。此外，优化的块并行实现加速了模型侧的动作解码，提升了效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Dynin-Robotics在LIBERO和零-shot LIBERO-Plus任务中表现出色，特别是在Franka Research 3机器人上实现了78.4%的平均成功率。此外，优化的实现使得模型侧的动作解码速度提升了29.2倍，显著提高了效率。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造、服务机器人等。通过提升机器人在复杂环境中的决策能力，Dynin-Robotics能够在实际操作中实现更高的效率和灵活性，未来可能推动机器人技术的广泛应用。

📄 摘要（原文）

Visual goal and dynamics prediction can provide language-conditioned robot policies with both a target outcome and a representation of action-dependent scene changes. We bring these predictions into action generation and selection through a shared trajectory model. Dynin-Robotics implements this formulation on Dynin-Omni, an omnimodal masked-diffusion backbone, representing language, visual observations, goals, and actions as discrete tokens. By varying conditioning and target spans, the same model learns action prediction, action-conditioned next-observation prediction, terminal goal-state prediction, and trajectory-to-instruction reconstruction. These interfaces support test-time scaling through goal prediction, action-candidate evaluation, and joint refinement of action and future-state predictions. We continually pretrain the model on approximately 1.33 million trajectories from 48 Open X-Embodiment datasets and adapt it separately to downstream domains. On two VLABench tasks, robot pretraining improves adaptation within a fixed Stage-2 step budget, and the full objective mixture improves shifted-instruction success over Policy-only post-training under the same coupled decoder. Combining goal guidance with joint action-next-state denoising further improves shifted-instruction success over action-only decoding; the benefit depends on how the predictions are composed. Dynin-Robotics achieves competitive performance on LIBERO and zero-shot LIBERO-Plus, together with a 78.4% average success rate across four manipulation conditions on a Franka Research 3 robot. An optimized block-parallel implementation accelerates model-side action decoding by up to 29.2x relative to the base implementation under the reported profiling setup. These results support shared trajectory modeling as a common interface for learning complementary robot objectives and composing their predictions during control.